Глава OpenAI Сэм Альтман выступил 23 сентября в Совете Безопасности ООН и назвал два главных риска дальнейшего развития искусственного интеллекта. Первый — люди могут потерять контроль над слишком самостоятельными системами, второй — самые мощные модели могут сосредоточить слишком много власти у нескольких компаний, государств или отдельных людей.
По словам Альтмана, проблема станет острее, если ИИ начнет активно помогать создавать собственные следующие поколения. Автоматизация исследований может резко ускорить развитие моделей, поэтому компании должны быть готовы замедлить работу, если не смогут доказать безопасность новых систем. OpenAI уже делала это раньше и готова повторить такой шаг, заявил Альтман.
Он сформулировал для разработчиков отдельное требование: не обучать модели, если нет веских доказательств того, что люди смогут сохранить над ними контроль. По его словам, компании должны понимать действия систем, следить за их поведением и убеждаться, что модели продолжают выполнять намерения человека даже после заметного роста возможностей.
Для этого Альтман предложил создать совместимые национальные и международные стандарты для наиболее мощных моделей. Они должны описывать, как измерять возможности ИИ, оценивать риски, проверять защитные механизмы и сохранять человеческий контроль. Странам также понадобятся общие правила быстрого сообщения об инцидентах и защищенные каналы обмена информацией о новых угрозах.
При этом глава OpenAI подчеркнул, что международные требования не должны закреплять преимущество нынешних лидеров рынка или мешать новым компаниям. Конкретные законы каждая страна сможет определять самостоятельно, но способы проверки безопасности Альтман предлагает согласовать на международном уровне.
Источник: OpenAI