Определение свойств сплава может оказаться дорогостоящим и трудоемким процессом. Эксперименты со сплавами часто требуют ряда ресурсов. Расчет сплавов также может оказаться чрезвычайно сложным, поскольку количество конфигураций свойств кажется бесконечным.

Свойства сплава можно определить с помощью расчетов по теории функционала плотности (DFT); однако этот метод ограничен, а также может быть чрезвычайно трудоемким в случае особенно сложного сплава. Амир Барати Фаримани и его команда стремятся сократить время и стоимость этого процесса, и их недавняя работа привела к созданию AlloyBert — инструмента моделирования, предназначенного для прогнозирования свойств сплавов.

AlloyBert — это модель на основе преобразователя, то есть исследователи вводят простые англоязычные дескрипторы для получения желаемого результата. Дескрипторы могут включать такую ​​информацию, как температура обработки сплава или химический состав сплава. AlloyBert затем будет использовать эту информацию для прогнозирования модуля упругости или предела текучести сплава.

Барати Файрмани, доцент кафедры машиностроения, и его команда специально разработали AlloyBert, чтобы сократить время и затраты, которые обычно требуются для определения свойств сплава. Большинство моделей изучения языка требуют, чтобы пользователи вводили имеющуюся у них информацию, используя чрезвычайно точную формулировку, а это трудоемкий процесс. Сделав AlloyBert моделью на основе трансформатора, пользователи могут быть более гибкими при вводе данных.

«Нам нужна была модель, которая могла бы легко получить определенные физические свойства, не слишком заботясь о том, какая информация у нас есть и находится ли она в определенном формате», — говорит Акшат Чаудхари, студент магистратуры в области материаловедения и инженерии. «Точная информация и форматирование по-прежнему остаются актуальными. важно, но AlloyBert обеспечивает гораздо более высокий уровень гибкости».

Основополагающей моделью AlloyBert является RoBERTa, уже существующий кодер. RoBERTa использовался из-за его механизма самообслуживания — функции, которая позволяет модели судить о важности конкретных слов в предложении. Этот механизм самообслуживания был включен в обучение AlloyBert с использованием двух наборов данных о свойствах сплавов. AlloyBert доработал модель RoBERTa. Результаты исследования показали, что модели трансформаторов могут использоваться в качестве эффективных инструментов прогнозирования свойств сплавов.

В настоящее время у AlloyBert есть два отклонения, которые команда надеется изучить дальше. Точность прогнозов AlloyBert не всегда соответствует уровню детализации входных данных. Команда ожидала, что чем больше информации они предоставят AlloyBert, тем точнее будут результаты.

Однако их эксперименты показали, что в некоторых случаях ввод наименьшего количества данных приводил к наиболее точным результатам. Команда полагает, что это может быть связано с тем, что обучение AlloyBert ограничено двумя наборами данных.

«Обучение модели на очень большом корпусе может дать более последовательные результаты», — отмечает Чаудхари.

Второе отклонение было обнаружено, когда исследовательская группа использовала две стратегии обучения: одна включала сначала предварительное обучение, а затем тонкую настройку модели, а другой метод включал только точную настройку модели. Команда предположила, что метод, использующий как предварительное обучение, так и точную настройку, приведет к более точным результатам. Это происходило один раз из восьми в каждом наборе данных.

Хотя их гипотеза в основном была поддержана, они обнаружили, что в некоторых случаях только точная настройка модели приводила к лучшим результатам по сравнению с некоторыми входными данными, содержащими больше информации. Команда прогнозирует, что это отклонение может быть связано с тем, что при предварительном обучении использовалась модель замаскированного языка (MLM). В будущих исследованиях могут использоваться альтернативные модели предварительного обучения.

В целом, это исследование и разработка AlloyBert открыли двери для ряда возможностей. В дополнение к двум упомянутым отклонениям код AlloyBert может быть доработан для идентификации других материалов, помимо сплавов. Команда Файрмани также предполагает разработку модели, которая выполняет операцию, обратную AlloyBert, то есть модели, которая получает входные данные о свойстве сплава, а затем разбивает элементы, из которых она состоит.

Модели на основе трансформаторов в целом оказываются потенциально ценным инструментом для будущих научных исследований. «Для научного использования нужны конкретные и точные ответы, и существующие исследования показывают, что для этого есть хорошие возможности. Эти модели можно обучить таким образом, чтобы они давали лучшие результаты, чем существующие методы», — объясняет Чаудхари.

Результаты опубликованы на сайте arXiv сервер препринтов, а программное обеспечение AlloyBert теперь доступно на GitHub.