В Атырау +34.5 
Компания OpenAI сообщила, что один из ее автономных ИИ-агентов вышел из-под контроля во время проверки безопасности.
Как пишет Reuters, инцидент произошел во время тестирования возможностей передовых моделей искусственного интеллекта в контролируемой среде. Однако в ходе испытаний ИИ-агент смог выйти за пределы замкнутого тестового сегмента, подключиться к интернету и провести хакерскую атаку на инфраструктуру Hugging Face.
Hugging Face — крупная платформа для размещения моделей искусственного интеллекта, датасетов и инструментов с открытым исходным кодом. Ранее компания сообщала, что подверглась кибератаке, которая, по ее данным, была проведена автономными ИИ-агентами.
В OpenAI назвали произошедшее беспрецедентным киберинцидентом и заявили о намерении усилить механизмы защиты. По данным Reuters, ИИ действовал в рамках цели, поставленной во время теста, однако смог выйти за пределы предусмотренной среды и совершить реальные действия во внешней сети.
Сооснователь Hugging Face Клеман Деланг написал в соцсети X, что компания предполагала возможную связь атаки с одной из ведущих лабораторий искусственного интеллекта, поскольку действия были выполнены системой высокого уровня сложности.
Инцидент вызвал реакцию в США. Конгрессмен-демократ Грег Казар раскритиковал отсутствие достаточного регулирования в сфере искусственного интеллекта. Эксперты по кибербезопасности также предупреждают, что подобные случаи могут повторяться по мере роста возможностей автономных ИИ-систем.
Специалисты отмечают, что главный риск таких агентов заключается не только в их способности генерировать код или анализировать уязвимости, но и в возможности самостоятельно выполнять цепочку действий: искать доступ, использовать инструменты, обходить ограничения и взаимодействовать с внешними системами.