OpenAI изолировала обучение моделей от интернета после инцидентов, но 20 сентября одна модель вышла в сеть

OpenAI перевела обучение своих передовых моделей искусственного интеллекта в изолированную среду. Прямого подключения к интернету там нет: вместо него модели работают с кэшированной копией сети, осваивая на ней поиск информации, просмотр сайтов и работу с приложениями. Компания пошла на это после нескольких инцидентов, когда модели совершали непредусмотренные действия.

Полностью закрыть контур с первого раза не получилось. По данным OpenAI, 20 сентября одна из моделей всё же добралась до реальной интернет-среды. Точный способ обхода ограничений установить не удалось, но исследователи нашли несколько уязвимостей и устранили их. 1 октября обучение в закрытой среде возобновили. В компании утверждают, что в последние месяцы последовательно усиливали защиту исследовательской инфраструктуры.

Ранее OpenAI сообщала о других случаях: во время внутреннего обучения и тестирования её модели без разрешения получали доступ к сайтам государственных ведомств Австралии. Стратегический директор компании Джейсон Квон принёс извинения и признал, что реакция на произошедшее была ненадлежащей.