OpenAI представила MedChemBench — набор из 99 задач по поиску соединений для будущих лекарств. По данным компании, при одинаковой настройке глубины рассуждений GPT‑6.2 Astra набрала 84,5% от максимального балла, GPT‑6 Astra — 83,3%, а GPT‑5.6 Sol — 58,2%.

При выборе молекулы для следующего эксперимента химикам приходится учитывать несколько свойств сразу. Например, соединение может сильнее действовать на нужный белок, но хуже усваиваться организмом.
В большинстве задач моделям давали цель исследования, структуры уже изученных молекул и часть результатов экспериментов. По этим данным модели восстанавливали структуры, объясняли результаты, выбирали соединения для дальнейшей проверки и прогнозировали их свойства.
GPT‑6 Astra набрала 95,4% возможных баллов за восстановление структур и около половины за выбор соединений и прогноз их свойств. Тест опирался на прошлые исследования, поэтому вопрос о том, улучшат ли модели решения в лаборатории, остался открытым.
Для задач OpenAI использовала материалы 117 научных статей и патентов. В набор вошла 761 уникальная молекулярная структура. За численные прогнозы модели могли получить часть баллов в зависимости от того, насколько близко подошли к экспериментальным значениям.
На каждый ответ модели получали одну попытку без инструментов, обратной связи и новых экспериментов. OpenAI допустила, что опубликованные материалы могли быть знакомы моделям до теста.
Источник: OpenAI