OpenAI представила MedChemBench — набор из 99 задач по поиску соединений для будущих лекарств. По данным компании, при одинаковой настройке глубины рассуждений GPT‑6.2 Astra набрала 84,5% от максимального балла, GPT‑6 Astra — 83,3%, а GPT‑5.6 Sol — 58,2%.

Пример восстановления структуры молекулы в MedChemBench

При выборе молекулы для следующего эксперимента химикам приходится учитывать несколько свойств сразу. Например, соединение может сильнее действовать на нужный белок, но хуже усваиваться организмом.

В большинстве задач моделям давали цель исследования, структуры уже изученных молекул и часть результатов экспериментов. По этим данным модели восстанавливали структуры, объясняли результаты, выбирали соединения для дальнейшей проверки и прогнозировали их свойства.

GPT‑6 Astra набрала 95,4% возможных баллов за восстановление структур и около половины за выбор соединений и прогноз их свойств. Тест опирался на прошлые исследования, поэтому вопрос о том, улучшат ли модели решения в лаборатории, остался открытым.

Для задач OpenAI использовала материалы 117 научных статей и патентов. В набор вошла 761 уникальная молекулярная структура. За численные прогнозы модели могли получить часть баллов в зависимости от того, насколько близко подошли к экспериментальным значениям.

На каждый ответ модели получали одну попытку без инструментов, обратной связи и новых экспериментов. OpenAI допустила, что опубликованные материалы могли быть знакомы моделям до теста.

Источник: OpenAI

guest
0 Комментарий
Популярные
Новые Старые
Поделиться ВКонтакте Telegram