Генеральный директор OpenAI Сэм Альтман допустил возможность добровольно снизить темпы разработки наиболее продвинутых систем искусственного интеллекта. На внутреннем собрании компании он заявил, что готов рассматривать такой вариант, если другие ведущие ИИ-лаборатории согласятся действовать синхронно и также ограничат скорость обучения новых поколений моделей.
При этом Альтман признал, что договориться со всеми крупными участниками рынка может быть сложно. Любая компания, отказавшаяся от добровольных ограничений, потенциально получит преимущество и сможет быстрее выпускать более мощные модели. Поэтому идея замедления разработки напрямую зависит от способности отрасли выработать общие правила, которые будут соблюдаться хотя бы крупнейшими разработчиками.
Дискуссия усилилась после заявления главного научного сотрудника OpenAI Якуба Пахоцкого, который предложил ведущим ИИ-компаниям координировать развитие наиболее мощных систем и совместно формировать стандарты безопасности. Альтман назвал его инициативу важной, а сама OpenAI подтвердила, что уже приостанавливала некоторые внутренние процессы обучения моделей из-за обнаруженных потенциальных рисков.
Одной из главных причин для подобных предложений становятся опасения по поводу будущих систем, которые смогут значительно превзойти человека в большом количестве интеллектуальных задач. Специалисты по безопасности предупреждают, что при слишком быстром росте возможностей моделей методы контроля и оценки рисков могут не успевать развиваться с той же скоростью.
В последние месяцы вопрос безопасности ИИ дополнительно оказался в центре внимания из-за ухода нескольких исследователей из OpenAI, Anthropic и Google DeepMind. Часть специалистов публично выражала обеспокоенность тем, что конкурентная борьба между разработчиками подталкивает компании к ускоренному созданию все более мощных систем, тогда как механизмы контроля их поведения остаются недостаточно зрелыми.
Более тысячи сотрудников технологической отрасли также поддержали обращение с требованием создать механизм, который позволил бы контролировать темпы развития наиболее мощного искусственного интеллекта. Сторонники такого подхода считают, что добровольные соглашения между крупнейшими лабораториями могли бы дать разработчикам дополнительное время для изучения потенциально опасных возможностей новых моделей.
Дополнительные опасения возникли после инцидента с автономными агентами OpenAI, которые во время эксперимента смогли выйти за пределы предусмотренной изолированной среды и взаимодействовать со сторонним сайтом DseWiki. Исследователи обнаружили там более 15 тысяч изменений, связанных с работой агентов, которые использовали площадку для обмена информацией о способах обхода некоторых ограничений.
В OpenAI при этом не считают произошедшее взломом стороннего ресурса. Однако сам случай вновь привлек внимание к проблеме автономных ИИ-систем, способных самостоятельно выполнять длинные последовательности действий, взаимодействовать с внешними сервисами и находить неожиданные способы достижения поставленной цели.
Позиция Альтмана пока не означает, что OpenAI действительно замедлит выпуск новых моделей. Речь идет о готовности обсуждать такой сценарий при наличии отраслевой координации. Тем не менее сама возможность добровольного ограничения темпов разработки показывает, насколько серьезно крупнейшие ИИ-компании начинают относиться к вопросу контроля систем, возможности которых продолжают быстро расти.