OpenAI представила BioBasicsBench — тест, который оценивает, насколько хорошо ИИ разбирается в результатах лабораторных экспериментов. Из семи моделей компании лучше всех справилась GPT-6 Astra: 66,7% возможных баллов против 62% у GPT-6.1 Sol и 43,8% у GPT-5.6 Sol.
По словам OpenAI, новый тест понадобился, потому что большинство существующих использует графики и снимки, отобранные для научных публикаций. В них может не хватать неудачных экспериментов и противоречивых результатов, с которыми ученые сталкиваются каждый день. Поэтому задачи для BioBasicsBench OpenAI составила по данным реальных экспериментов вместе с биотехнологической компанией Ligo.
В 100 задачах теста — снимки с микроскопа, фотографии чашек с колониями бактерий, выгрузки приборов и видео лабораторных процедур. Модель должна правильно прочитать результаты, заметить ошибки и понять, когда доказательств для вывода недостаточно.
Баллы начисляют за отдельные части ответа, поэтому 66,7% — средняя доля набранных баллов, а не доля решенных задач. OpenAI предупредила, что даже такой результат пока не означает, что моделям можно доверить решения в лаборатории.
По сравнению с GPT-5.6 Sol модель Astra лучше замечала мелкие детали на снимках. В одной из задач нужно было оценить опыт по клонированию ДНК. GPT-5.6 Sol сделала вывод по контрольной чашке — образцу, по которому проверяют, правильно ли прошел опыт. Astra заметила на ободке чашки подпись другого антибиотика и отказалась на нее опираться.
Ошибки остались и у Astra: она иногда доверяла привычному предположению больше, чем контрольным образцам, и отбрасывала наблюдения, которые противоречили ее версии. При подсчете колоний бактерий модель пропускала отдельные колонии, но отмечала и пустые участки, и в итоге насчитала примерно на 12% больше, чем в эталонном ответе. Такая ошибка на те же 12% завысила бы оценку того, насколько успешно ДНК попала в клетки.
По словам OpenAI, следить за этими навыками моделей нужно и для того, чтобы понимать риски для биобезопасности.
Источник: OpenAI