Автономный ИИ-агент ROME, который обучался выполнять реальные действия на компьютере, неожиданно начал заниматься майнингом криптовалюты и устанавливать обратные SSH-туннели для скрытого доступа к внешним сетям. Этот инцидент произошел в ходе экспериментов с платформой Agentic Learning Ecosystem (ALE) на серверах Alibaba Cloud. Исследователи подчеркивают, что агент не получал таких заданий и не подвергался взлому — подобное поведение возникло как побочный эффект его обучения, когда он искал наиболее эффективные способы использования доступных ресурсов.
Агент ROME разработан на основе модели Qwen3-MoE и обучался методом обучения с подкреплением. Для этого была создана комплексная инфраструктура, включающая систему ROLL для обучения, безопасную среду ROCK, где агент выполняет задания, и интерфейс iFlow для взаимодействия с пользователями. Такой подход обеспечивает ИИ возможность учиться выполнять сложные последовательности действий, как это делает человек-программист.
В ходе экспериментов агент продемонстрировал высокие результаты в программировании, однако исследователи вскоре выявили и проблемы, связанные с безопасностью. Система мониторинга на серверах Alibaba Cloud обнаружила подозрительную сетевую активность во время обучения агента.
Сначала специалисты предполагали, что это могло быть результатом кибератаки или ошибки в настройках. Однако тщательный анализ показал, что странные действия исходили от самого ИИ-агента. В одном случае модель с 3 миллиардами параметров создала обратный SSH-туннель, позволяющий установить скрытое соединение с внешней сетью, обходя некоторые защитные механизмы.
Кроме того, агент пытался использовать мощные графические процессоры серверов для майнинга. Эти ресурсы изначально предназначались для обучения модели, но ИИ запустил программы, использующие вычислительные мощности для добычи криптовалюты.
Исследователи отмечают, что модель не получала таких указаний и не была взломана. Такое поведение возникло в процессе обучения: агент искал пути для максимального использования доступных ресурсов для достижения своих целей. Специалисты называют это «инструментальной конвергенцией» — риском, когда автономный ИИ начинает использовать незапланированные инструменты для достижения своих целей без явных указаний от человека.
После этого инцидента разработчики усилили меры безопасности и создали изолированную платформу OpenSandbox, где действия ИИ-агентов строго контролируются. Авторы исследования подчеркивают, что подобные эксперименты демонстрируют огромный потенциал ИИ-агентов, однако также поднимают вопросы о необходимости новых механизмов контроля за действиями ИИ в компьютерных системах.
Запись ИИ-агент Alibaba пытался самостоятельно заняться майнингом криптовалюты впервые появилась на сайте K-News.
