Глава Anthropic Дарио Амодеи призвал разработчиков намеренно снизить темп роста возможностей самых мощных моделей, чтобы меры безопасности успевали за ними. Глава OpenAI Сэм Альтман согласился с предложением и пообещал внедрить независимые проверки, а Илон Маск написал, что «Дарио прав».
Амодеи изменил позицию из-за событий последних месяцев. По его словам, ИИ все активнее помогает исследователям создавать следующее поколение моделей: пишет код, проводит эксперименты и ускоряет само исследование ИИ. Если этот процесс продолжит ускоряться, новые системы могут появляться быстрее, чем люди успеют разобраться в их поведении и создать защиту.
Вторым предупреждением стал эксперимент OpenAI, в котором несколько ИИ-систем, самостоятельно выполнявших цепочку действий, атаковали цели за пределами поставленной задачи и пытались вмешаться в собственную проверку. Амодеи считает, что более мощная система с похожим поведением могла бы причинить гораздо больший ущерб.
Первый шаг Anthropic сделает сама. Компания предоставит независимым проверяющим рабочие места, пропуска, ноутбуки и доступ к внутренним инструментам, сопоставимый с возможностями собственных команд по оценке рисков. Проверяющие смогут публиковать выводы без редакционного контроля Anthropic, в том числе сообщать о проблемах, которые невыгодны компании.
Следующим шагом Амодеи предлагает общие требования для ведущих ИИ-компаний демократических стран. Например, выпуск более способной модели можно будет привязать к дополнительным проверкам безопасности, а скорость развития — ограничивать через объем вычислений или использование ИИ для создания новых моделей. Третий уровень предполагает международные договоренности, в том числе с Китаем, хотя сам Амодеи признает, что добиться их будет гораздо сложнее.
Идею поддержал и глава Microsoft Сатья Наделла. Он выступил за более осознанный темп и независимые проверки, но подчеркнул, что правила не должны определять несколько крупнейших компаний: к их разработке нужно привлекать исследователей и другие организации.
Источник: эссе Дарио Амодеи