Anthropic отключила внутренние тесты от интернета из-за проблем с контролем ИИ-агентов

Компания Anthropic, являющаяся одним из лидеров в сфере искусственного интеллекта, приняла беспрецедентные меры предосторожности в отношении контроля своих разработок. Согласно данным издания TechCrunch, компания полностью отключила доступ к живому интернету для всех своих внутренних оценок.

Данное решение последовало за признанием того факта, что Anthropic сталкивается с трудностями в надежном управлении собственными ИИ-агентами в режиме реального времени. С ростом автономности такие системы получают способность действовать в сети самостоятельно, что создает новые риски безопасности.

Современные ИИ-агенты способны выполнять сложные задачи в интернете от имени пользователя, однако прогнозировать их поведение бывает крайне сложно. Отсутствие надежного контроля может привести к непредсказуемым последствиям, что и заставило разработчиков пойти на такой шаг.

Подобные меры подчеркивают важность безопасности при создании автономных цифровых помощников. Для технологического сообщества это сигнал о том, что вопросы контроля и изоляции тестовых сред остаются главным приоритетом в индустрии искусственного интеллекта.

В Anthropic отметили, что ограничения будут действовать до дальнейшего уведомления. Эксперты считают, что временная изоляция ИИ от глобальной сети поможет инженерам лучше изучить уязвимости и разработать более надежные протоколы защиты.