МИСиС

В 2029 году Европейское космическое агентство запустит телескоп ARIEL для  исследования химического состава атмосфер экзопланет. Чтобы учесть возможные технические проблемы и решить их заранее, ежегодно проводится международное состязание Ariel Data Challenge на платформе Kaggle (онлайн-сообщество для проведения соревнований по Data Science). Студенты Института компьютерных наук Университета МИСИС Георгий Апарин и Артём Хапилов в этом году завоевали золото, решив кейс по улучшению качества данных, которые получают со спектрометров спутника. Георгий подробно рассказал о техническом решении задачи.
Гуманитарии, простите.

Для анализа атмосферы используются наблюдения во время транзита, когда экзопланета проходит между своей звездой и телескопом. В этот момент сияние звезды частично проходит сквозь атмосферу планеты, и фотометрические приборы фиксируют изменение светимости.

Это позволяет «поймать» фотоны, которые пролетели через атмосферу экзопланеты. Они взаимодействуют с химическими компонентами, теряя энергию в процессе. Разные молекулы поглощают свет на определенных длинах волн, что создает характерные особенности в спектре. Сравнивая фоновое излучение звезды до транзита и во время него, можно выявить особенности и определить, какие молекулы присутствуют в атмосфере.

На первый взгляд может показаться, что Y должна быть постоянной, ведь радиусы звезды и планеты неизменны. Есть небольшое «но». Радиус планеты в этом контексте зависит от длины волны. Определенные молекулы в атмосфере поглощают больше света, создавая эффект, будто перед звездой проходит планета с чуть большим радиусом, но без атмосферы. Это одна из особенностей астрономической спектроскопии, позволяющая изучать состав атмосфер, которые находятся от нас на огромном расстоянии.

На спутнике используются высокочувствительные спектрометры, настроенные на определенные длины волн, но работают они с погрешностью. Через атмосферу планеты пролетает от 50 до 200 ppm (фотонов на миллион) – крайне небольшое количество, которого недостаточно для прямой конвертации сырых данных в распределение. На Ariel будет установлено несколько оптических инструментов, специализирующихся на разных спектральных диапазонах и режимах наблюдения. FGS1 – это спектрометр системы точного наведения, задача которого обеспечить центрирование и фокусировку спутника, высокоточную фотометрию целевой звезды в видимом спектре. Он имеет чувствительность от 0,60 до 0,80 мкм. AIRS-CH0 – это инфракрасный спектрометр с чувствительностью от 1,95 до 3,90 мкм.

Задача соревнования – восстановить распределение из сырых данных спектрометров спутника при помощи различных методов. Все усложнялось наличием значительных шумов, среди которых особенно выделяется так называемый «джиттерный шум» (jitter noise) – результат микровибраций космического аппарата. Он создается вращением маховиков для стабилизации телескопа и схож с размытостью при попытке сделать фото с длинной выдержкой дрожащей камерой. Амплитуда джиттерного шума может достигать 200 ppm, что сопоставимо с величиной самого сигнала, обусловленного атмосферой планеты, и особенно затрудняет анализ сигналов от небольших планет.

Данные предоставлялись в виде временной последовательности 2D-изображений спектральной фокальной плоскости, симулируя реальные наблюдения телескопа. Необходимо было минимизировать шумы и извлечь из зафиксированной энергии значимую информацию для восстановления распределения. Для каждого наблюдения дан 3D-массив с осями (T, S, wl), где T – временная ось, S – пространственная, wl – спектральная. Результаты оценивались с помощью функции логарифмического правдоподобия Гаусса (Gaussian Log-Likelihood, GLL). Она сравнивает предсказанные спектр μ_user и отклонение σ_user с реальными данными по формуле:

Финальная метрика — отношение разности предсказанного GLL и «наивного» GLL к разности «идеального» GLL и «наивного» GLL, где наивный GLL представлял собой GLL с предсказаниями, равными среднему значению таргета по датасету (да, всё сложно))) В «идеальном» логарифмическом правдоподобии сигма была взята как 1e-5. Если мы предскажем значения, которые будут лежать в границах 1e-5 от таргета, метрика будет максимальной.

Стоит отметить, что на трейн данных даны наблюдения с двух различных звёзд – планетарных систем. В тесте к известным прибавлялись еще две неизвестные системы. Также распределение таргета на тесте отличалось от распределения на трейне, поэтому ни один подход, основанный на 2D или 3D-CNN не реализовался.

В нашем решении мы упростили постановку задачи. Данные имеют три размерности: время, пространство и спектр. Избавимся от пространственной размерности, усреднив всю энергию в одно значение для каждой длины волны. Для каждого наблюдения получим поверхность в координатах «время» и «длина волны». Для каждой пары (t_i, wl_i) у нас есть усредненное значение энергии – flux. Шум измерений высокий, поэтому для наглядности представлены графики одного и того же наблюдения с применением сглаживания и без него.

Обратите внимание на левую картинку: она визуально понятнее правой, поскольку на ней видно поверхность, составленную из нормализованных временных рядов для каждой длины волны относительно времени. Момент «провала» энергии — это момент транзита.

Теперь еще упростим задачу. Рассмотрим временной ряд для конкретной длины волны, вместо анализа всех:

Целевая переменная, которую необходимо предсказать для каждой длины волны, представляет отношение заблокированной энергии звезды к полной на этой длине волны. Кривая светимости показывает зафиксированную энергию до, во время и после транзита.

Значения «до» и «после» отражают полную энергию звезды, а во время транзита – полную энергию за вычетом заблокированной. Если прибавить к значению кривой во время транзита заблокированную энергию, то получится состояние как будто планета не пересекала звездный диск. Отношение этого добавленного значения к фоновому – искомый таргет. Таким образом, верно восстановив полную энергию звезды на временном промежутке, мы сможем получить таргет. Для восстановления полной энергии была предложена идея полиномиальной интерполяции: полную энергию звезды с достаточной точностью можно описать полиномом.

Остаётся вопрос: как оценить лучший полином для интерполяции? Решение простое. Давайте считать MAE между предсказанным полиномом и кривой полной энергией звезды (далее – кривой светимости), при поднятии момента транзита на заданный коэффициент. Полином с наименьшей ошибкой будет соответствовать лучшему коэффициенту поднятия, которое по предварительной оценке и будет являться таргетом. Не решено, как формально поставить задачу, чтобы можно было применить к ней различные методы оптимизации. Обозначим кривую светимости с транзитом – S, влияние транзита на светимость – D. Также зададим гладкую функцию D через коэффициенты. Фазы начала и конца транзита – p1 и p2, время длительности транзитного перехода – коэффициент t, искомый таргет – коэффициент d. Поделив данный сигнал S на функцию мультипликации D, получим исходную кривую светимости, как на предыдущих графиках.

Для нахождения лучших коэффициентов был использован метод оптимизации Nelder-Mead в библиотеке scipy. В поставленной задаче мало параметров, поэтому он быстро сходится в глобальный оптимум. Оптимизатор делает свои функции, но оптимум по полиному не является решением задачи, а только упрощает его. Если зафиксировать коэффициент d и присвоить ему истинное значение, посчитать полином и MAE по восстановленной кривой светимости, то ошибка будет больше, чем при обычной оптимизации. Из этого следует, что в реальности переформулированная задача описывает таргет с достаточной точностью, но глобальный её оптимум не равен искомому таргету.

Сигналы для отдельных длин волн шумные, поэтому было решено объединить соседние длины волн особым образом и считать полином по усредненному сигналу.

Ниже приведён код основного алгоритма сбора предсказаний

1. Вычисляем p1, p2, и t по производной сигнала

2. Вычисляем d_st по усредненному сигналу. Этот параметр представляет собой предсказание среднего по таргету. Здесь мы также оптимизируем параметры, полученные на первом этапе.

3. Далее итерируемся по всем длинам волн с окном 2*k_binn_wl и шагомk_binn_wl // 2.

4. В каждом окне мы повторно вызываем полиномиальную интерполяцию на подмножестве, которое рандомно семплируется из длин волн текущего окна. Таким образом, мы уточняем полином для близких длин волн, так как, как видно на графиках выше, кривые светимости меняются относительно номера длины волны.

5. Далее каждый сабсемпл разбивается на подгруппы меньшего размера, для которых мы оптимизируем таргет отдельной функцией минимизации по их усредненному сигналу.

6. В конце мы собираем предикты для шумных длин волн отдельным алгоритмом, семплируя сигналы со всех длин волн, для увеличения стабильности и уменьшения шума.

Также для подсчета метрики необходимо было оценить доверительный интервал, в пределах которого для конкретной длины волны находится реальное значение. Для предсказания доверительных интервалов использовали ансамбль градиентных бустингов на фичах сигнала и предсказания. Для большей стабильности обучались на одной звезде, а валидировались на другой, симулируя тем самым тестовое предсказание.

Спасибо всем, кто дочитал до конца) Всегда готовы совершенствоваться, будем рады комментариям и предложениям по улучшению.

Генри Бессемер – мастер на все руки без университетского образования, автор более 120 патентов в различных областях. Он изобрел новый способ производства карандашей, железнодорожный тормоз, игольчатый штамп для гашения гербовых марок, словолитную машину и многое другое. Этот англичанин – настоящий исследовательский локомотив, он вписал свое имя в историю как родоначальник метода выплавки стали. Такой способ в металлургии занимал первое место на протяжении почти ста лет: с 1856 по 1950. Хотя в сталелитейное дело Бессемер пришел только на 41-м году жизни. Подробнее о его карьере в нашем материале.

Генри родился в 1813 году в семье типографа и изобретателя Энтони Бессемера в Чарлтоне. Организованная отцом словолитня и деревенская водяная мельница стали для сына первой «технической школой». По окончании начального обучения мальчик объявил, что хочет познавать технику на практике. Несколько лет под руководством отца он обучался работе на специально купленном токарном станке, отливал из типографского металла первые детали. 17-летним юношей вместе с семьей он переехал в Лондон и начал поиск «золотой жилы» – изобретения, которое принесет ему богатство и славу. Спойлер: он создал многое, но большую часть так и не смог довести до коммерческого внедрения. Но нескольким его разработкам нашли применение только спустя годы – настолько Бессемер опередил время, в котором жил.

В молодости он начал заниматься художественным литьем. Его отливки выставлялись в музеях и помогли завязать полезные знакомства. Первый коммерческий успех получила методика тиснения картона. На вырученные деньги исследователь попытался создать предприятие по его производству. Однако из этой затеи ничего не вышло. Изобретатель не отчаялся и продолжал работать. Позже он заметил, что гербовые марки легко подделываются. Генри создал штемпель, который пробивал бумагу, создавая перфорированный рисунок, после чего дальнейшее использование марки становилось невозможным. Бессемеру предоставили место «главного надзирателя за гербовыми марками» с приличным жалованием.

Казалось бы, карьера пошла в гору. В этот момент он встречает Анну Аллен и решает жениться. Девушка как-то подсказала Генри ставить на штампованную марку дату ее использования. Бессемер имел неосторожность рассказать об этом в департаменте. Идею утвердили. Таким образом, новая должность главного надзирателя стала ненужной. Вопрос о вознаграждении Генри благополучно забыли. Изобретение не было запатентовано, поэтому разработчику оставалось лишь махнуть рукой и поместить воспоминания об этом случае в копилку жизненного опыта. Он продолжил работать в отцовской словолитне: занимался гравировкой, усовершенствованием способов литья, созданием новых инструментов, приборов и механизмов.

В начале 1840-х годов Бессемер открыл свое «маленькое Эльдорадо», которое укрепило его материальное положение и позволило финансировать работы по производству стали. Помог, как это часто случалось в жизни изобретателя, случай. Его сестра попросила сделать надпись в альбоме акварелей. Генри купил два пакетика золотого порошка и был неприятно удивлен ценой. Сообразив, что она обусловлена ручным способом изготовления, Бессемер придумал процесс, который позволит производить дешевый золотой порошок в больших количествах. Эксперименты продолжались год. Разработанная машина расплющивала кусочки металла в валках, перетирала их, сортировала по размеру в потоке воздуха, а крупные частицы снова перетирала. Все работы велись в строжайшем секрете, детали будущей машины заказывались на разных заводах, а помещение для нее не имело окон и освещалось только верхним светом через отверстие в крыше. Бессемер максимально механизировал все операции так, что для производства было достаточно трех человек – братьев его жены.

Около 20 лет эта технология приносила семье стабильный доход и позволяла заниматься изобретательством, пока в США не разработали аналогичный способ.

А дальше началась длительная история «рождения» процесса выплавки стали. В 1854 году Генри Бессемер предложил военному министерству Великобритании идею артиллерийского снаряда особой конструкции, при которой он будет вращаться в полете даже при выстреле из гладкоствольного орудия. В ходе Крымской войны специалисты выявили преимущества продолговатых снарядов с заостренным наконечником, но для стабилизации траектории полета нужно было придать им вращательное движение. Военное ведомство отказало, но изобретатель все равно соорудил полигон, где проводил испытания своего снаряда с помощью небольшой мортиры. Получив обнадеживающие результаты, Бессемер продемонстрировал модель одному из родственников Наполеона III. Принц рассказал императору, и тот разрешил Генри провести опыты на полигоне в Венсенне. Стрельбы прошли 22 декабря 1854 года, а уже через три недели, 10 января, изобретатель заявил свой первый патент на «усовершенствования в получении железа и стали».

Проводя опыты с пламенной печью, Бессемер опять же случайно заметил несколько кусков нерасплавленного чугуна. Увеличив подачу воздуха через порог, он с удивлением обнаружил, что они так и не расплавились. Коснувшись их ломом, изобретатель нашел лишь пустотелые оболочки. Генри не знал, что чугун на поверхности чушек может «обезуглеродиться» и превратиться в железо. Наблюдение, которое профессионалы оставляли без внимания, привело изобретателя к мысли «а не подвести ли воздух к большей поверхности чугуна для интенсивного обезуглероживания». В заметках он писал: если металл сначала расплавить, а потом продувать, то процесс удаления примесей пойдет гораздо эффективнее. Результатом опытов стал тигель особой конструкции и патент от 17 октября 1855 года. В следующие месяцы Бессемер взял ряд патентов на различные способы обезуглероживания чугуна.

Изобретатель понимал, что для масштабного промышленного применения нового процесса придется еще провести большую работу и вложить немалые деньги. Он нашел следующее решение. В каждом из пяти промышленных регионов выбрал ключевых партнеров – крупных производителей с финансами и статусом в деловом сообществе. Они покупали лицензию на новую технологию за 10 тысяч фунтов стерлингов на льготных условиях: вместо положенных по британскому патентному законодательству 14 лет платили отчисления Бессемеру только год. Через несколько недель после доклада Генри собрал за право использования своего патента около 27 тысяч фунтов стерлингов. Когда дело дошло до промышленного применения, проявились недостатки. Помимо невозможности удалять примеси, обнаружилась низкая стойкость футеровки конвертера и большие потери металла – до 40%.

Генри Бессемер перевел жене половину сбережений на случай провала, а на остальные начал масштабные научные исследования: организовал завод в Шеффилде, где занялся совершенствованием нового процесса. Его компаньонами стали товарищ Лонгстон, зять Уильям Аллен и манчестерские машиностроители братья Холлоуэй, обменявшие купленную у Бессемера лицензию на паи предприятия. Изобретатель привлек к работе известного профессора Генри и химика-аналитика завода Даулейс Эдуарда Райли. Вместе они устранили затруднения, придав сосуду форму груши. Исследования помогли понять ход процесса, но проблему фосфора не решили.

Залежи малофосфористой руды разрабатывались в Камберленде. Бессемер пообещал руководству крупные заказы, ознакомился с производством и увидел, что в качестве флюса для доменных печей использовался фосфористый пудлинговый шлак. Оставалось договориться о производстве чистого по фосфору «бессемеровского чугуна». В дальнейшем термин стал общепринятым. В 1857 году удалось решить и проблему красноломкости. «Раскисление» металла марганцем вдохнуло новую жизнь в авторский процесс, который без этого вряд ли получил бы широкое распространение.

Летом 1858 года ворота Шеффилдского завода распахнулись для всех желающих. Первым на бессемеровскую сталь серьезное внимание обратил начальник артиллерийских заводов Вулвичского арсенала полковник Уилмот. Благодаря протекции сталепромышленник Джон Браун установил на производстве два трехтонных конвертера и первым применил способ разливки стали. Дальнейшие усовершенствования Генри Бессемер закрепил в патенте от 1 марта 1860 года. Оборудование было настолько продумано и совершенно, что практически без изменений применялось в течение ста лет. Полную и безоговорочную победу его сталь одержала на фронте рельсового производства: за 21 год она целиком вытеснила железо. На долгие годы железные дороги стали основным потребителем бессемеровского металла.

К концу 1860-х общество Шеффилдского завода было ликвидировано, пайщики получили долю, которая в 24 раза превысила первоначальный вклад. Дивиденды в 57 раз превосходили сумму основного капитала. К моменту прекращения действия патентов Бессемер получил по ним около миллиона фунтов стерлингов. Таким образом, основная цель его жизни была достигнута. Генри вносит последние усовершенствования в процесс и постепенно отходит от металлургии.

В 1871 году изобретатель избран президентом Института чугуна и стали, в 1879 – членом Королевского научного общества. Он получил множество титулов – почетный гражданин Лондона, почетный мастер Цеха токарей и многие другие. После переехал в Денмарк-хилл и вернулся к любимому занятию – свободному изобретательству. Последнее серьезное дело – написание автобиографии. В ней он подробно рассказал о своем жизненном пути (почти как мы в этом тексте) и истории создания и совершенствования процесса производства литой стали. В возрасте 85 лет Генри Бессемер умер. Похоронен в Лондоне на Западном Норвудском кладбище.

Текст подготовлен на основе материалов из энциклопедии «Металлургия и время», созданной учеными Университета науки и технологий МИСИС.

Как известно, лучшая защита — это нападение, а потому от доспехов мы плавно переходим к огнестрельному оружию. В начале 18 века, когда под руководством Петра I Россия встала на путь реформ, в стране началось активное развитие металлургии, и ключевую роль в этом сыграли мастера из Тулы. Сегодня мы расскажем, почему этот регион является центром оружейного производства, кузницей передовых технологий обработки металла и в чем секрет его успеха.

Строительство оружейных заводов в Туле во многом началось из-за удачного стечения обстоятельств: рядом богатые месторождения железной руды и лесные массивы. Также расположение города выгодно с точки зрения логистики — он находится недалеко от столицы на пересечении торговых путей.

К 1850 г. в тульском регионе сформируется сословие оружейников, численность которого достигнет 20 тыс. человек. Эта прослойка начала формироваться в 17 в., когда власти переселили в Тулу первых мастеров-самопальщиков. Самопальные мастера делились на ствольников, станочников, замочников и т. д., поскольку разными частями орудий занимались разные специалисты. Централизация оружейного производства в то время была относительной — большинство мастеров хотя и трудились на государство, но предпочитали работать в собственных мастерских.

К концу 16 в. правительство юридически оформило статус «казенных» кузнецов-оружейников, которых в обиходе стали ласково называть «казюками». Государство освобождало их от уплаты налогов и податей, но также и обязывало поставлять определенные изделия, в основном огнестрельное оружие.

Дальнейшее развитие оружейного промысла в Тульском крае было обусловлено созданием в регионе крупных металлургических предприятий. Силами европейских кузнецов и литейщиков эти заводы превращались в центры повышения квалификации — правительство обязывало иностранцев «людей государевых всякому железному делу научать и никакого ремесла от них не скрывать». Позже Петр I и вовсе начал отправлять русских оружейников на стажировки заграницу.

15 февраля 1712 г. по личному указу Петра I началось строительство Тульского оружейного завода. Предприятие оснащалось водяными машинами, «вертельными» станками, станками для отделки наружной и внутренней поверхности стволов. В производстве механизмов и инструментов использовались поверочные калибры. Вододействующие машины на реке Упе были построены русскими мастерами: кузнецом Марком Сидоровым (Красильниковым) и солдатом Яковом Батищевым.

Фабрика начала работу в 1714 г. Спустя шесть лет при заводе работали около 1200 оружейников, которые ежегодно производили свыше 20 тыс. пехотных и драгунских ружей, пистолетов. Там же массово производили холодное оружие — сабли, палаши, шпаги.

На середину 18 в. приходится расцвет тульского оружейного искусства. В это время необычайно возрос спрос на художественно украшенное тульское оружие. Удивительное по своему изяществу изобретение туляков — «алмазная грань» на металле — уходит корнями именно в эту эпоху.

Для сравнения, в годы Отечественной войны с Наполеоном наряд для казенных мастеровых составлял 7000 ружей, для частных фабрикантов — 3000 новых ружей и 3000 переделанных из «старого оружия», т. е. всего 13 000 ружей в месяц. Оружейники Тулы с 1812 по 1815 гг. поставили 496 524 ружья.

Технология производства стволов на тот момент была известна и отработана: они ковались из прямоугольной пластины толщиной в 7-8 мм, шириной 60-70 мм. Края полосы удалялись, затем она свертывалась по всей длине на круглом прутке железа, проваривалась и проковывалась, тем самым ствол удлинялся, поэтому делали осадку с обеих сторон. Для этого добела нагревали конец ствола и ударяли им о наковальню; железо «садилось», ствол укорачивался. Концы ствола приобретали утолщения — в казенной и дульной частях стволов они предохраняли изделия от разрывов. Каналы стволов в большинстве своем не имели сверловки.

Однако это оставалось наиболее сложным участком технологической цепочки — брак достигал 60%. Оружейники считали, что дело в низком качестве используемого железа, так как при неоднократных нагревах изделие разрушалось. В горном ведомстве же утверждали, что основной причиной является низкий уровень квалификации оружейников. В результате пришлось поднимать проблему на государственный уровень. Было принято решение создать специальную структуру — Комитет для приискания способов лучшей выделки железа и стали. Учреждение начало работу в 1832 г., но только в 1843 г. железо, изготовленное на Златоустовском заводе новым для России контуазским способом, позволило значительно сократить объем брака.

Особенность контуазского метода заключалась в устройстве горна. Он оборудовался двумя фурмами, благодаря чему увеличивалась протяженность окислительной зоны и, следовательно, существенно возрастала производительность. Фурмы устанавливались с меньшим наклоном, чем в обыкновенных кричных горнах, поэтому струя воздуха направлялась на «противофурменную доску». Металлические бруски располагали таким образом, чтобы расплав стекал через струю воздуха на дно горна, куда помещались железистые шлаки и окалина. Предусматривался предварительный подогрев металла теплом отходящих газов. Кроме того, в контуазских горнах можно было перерабатывать в сварочное железо бракованные пушки, прокатные валки и прочий лом.

В 1861 г. Тульский, Ченцовский и Ижевский оружейные заводы перешли на использование ижевского ствольного железа. В это же время европейские производители оружия уже перешли на применение литой стали, необходимой для точной обработки каналов стволов нарезного оружия. Для покрытия потребностей в стальных стволах в 1872 г. Ижевский завод был передан в коммерческое управление полковнику Петру Бильдерлингу с обязательством обеспечить производство 500 тыс. стальных стволов в течение шести лет. При нем, а затем и при его преемнике Карле Стандершельде, на заводе было организовано стабильное производство, и уже в 1884 г. завод вернулся под государственное управление. Для воспитания инженерных и административных кадров проведена реорганизация учебных программ Михайловской артиллерийской академии, где металлургия стала важной частью образования. В 1875–1876 гг. в академии начали преподавать сталелитейное дело, где большую роль в обучении сыграл основоположник металлографии и термической обработки Дмитрий Константинович Чернов.

Этот текст подготовлен на основе материалов из энциклопедии «Металлургия и время», созданной учеными Университета науки и технологий МИСИС.