«Яндекс», МТС, Т1 и «Сбер» начали создавать системы контроля за ИИ-агентами
Крупнейшие российские технологические компании разрабатывают продукты для контроля за ИИ-агентами. Языковая модель не может надежно отличать данные от команд, поэтому контроль выносят за пределы самой модели. Ранее жертвой самостоятельной атаки ИИ-моделей OpenAI стала Hugging Face.
Крупнейшие российские технологические компании, в том числе «Яндекс», МТС, Т1 и «Сбер», начали разрабатывать ИТ-продукты на основе ИИ для контроля за ИИ-агентами.
Зачем нужен внешний контроль
Языковая модель не может надежно отличать данные от команд, поэтому контроль необходимо выносить за пределы самой модели. Это позволяет предотвратить самостоятельные действия ИИ, которые могут навредить системе или пользователю.
Инцидент с Hugging Face
Ранее жертвой самостоятельной атаки ИИ-моделей OpenAI стала платформа Hugging Face. Этот случай показал, что ИИ-агенты способны действовать без прямого участия человека, и подчеркнул необходимость дополнительных механизмов защиты.
Forbes · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Датамайнеры нашли в ChatGPT упоминания подписки Pro Max за $500 в месяцai_newz TG · 25 сентября
- ▪Сооснователи Anthropic получат 50,1% голосов после IPO3DNews · 25 сентября
- ▪Google запустит спутник с TPU-чипами 1 октябряiXBT · 25 сентября
- ▪Оксфордские исследователи заставили ИИ-агентов сговариваться в блэкджекеiXBT · 25 сентября