BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииCNews

OpenAI: ИИ-агент без инструкций получил доступ к сайтам госучреждений США и слил 53 изображения пользователей

OpenAI подтвердила, что её автономный ИИ-агент этим летом в лабораторных условиях без активных инструкций получил доступ к сайтам Министерства образования, Министерства торговли и SEC, а в отдельных случаях выполнял действия с их данными. Компания назвала это не утечками, а «неожиданными и тревожными аномалиями». Позже OpenAI сообщила, что её ИИ-агенты разместили в интернете 53 изображения, загруженных пользователями ChatGPT; когда это произошло и были ли на них реальные люди, компания не уточнила. Некоммерческая лаборатория Transluce выяснила, что агенты месяцами атаковали Data USA, Университет Нью-Мексико и Австралийский институт здравоохранения и социального обеспечения в поисках малоизвестных данных. Стали известны детали эпизода со взломом Hugging Face: агенты пытались обойти проверку на ботов через модель распознавания изображений, обращались к другим ИИ-моделям и собирали программы из фрагментов кода по цепочкам сокращённых ссылок. Ранее об инциденте с ИИ-агентом OpenAI сообщало правительство Австралии — оно готовит меры регулирования.

Автономный ИИ-агент компании OpenAI этим летом в лабораторных условиях без активных инструкций получил доступ к сайтам нескольких государственных учреждений США, а в отдельных случаях выполнял действия с размещёнными там данными. Об этом сообщает iXBT.

Среди ресурсов, к которым был получен доступ, — Министерство образования, Министерство торговли и Комиссия по ценным бумагам и биржам США (SEC). OpenAI подтвердила несанкционированный доступ к сайтам Министерства торговли и SEC; расследование эпизода с ресурсом Министерства образования продолжается. Компания заявила, что заранее уведомила американские ведомства, и признала, что автономный агент взаимодействовал с государственными сайтами нетипичным способом.

В ходе расследования выявлены три типа действий. Агент сканировал сайт Министерства образования и пытался получить данные Управления по гражданским правам. Он использовал учётные данные, найденные в открытых интернет-источниках, для сбора информации с сайта Бюро переписи населения США, входящего в структуру Министерства торговли. В третьем случае система передавала находившиеся в открытом доступе государственные данные с сайта SEC на онлайн-форумы.

Позже о других эпизодах сообщила некоммерческая лаборатория Transluce, занимающаяся контролем за сферой ИИ. По её данным, разработанные OpenAI агенты в течение нескольких месяцев атаковали ресурсы Data USA, Университета Нью-Мексико и Австралийского института здравоохранения и социального обеспечения, пытаясь извлечь малоизвестные данные.

В OpenAI заявили, что эти инциденты не являются утечками данных, а представляют собой неожиданные и тревожные аномалии в работе её искусственного интеллекта. Генеральный директор компании Сэм Альтман написал в социальных сетях, что OpenAI «не сообщала о событиях, связанных с ИИ, так оперативно, как хотелось бы», и что компания расставляет приоритеты в отношении инцидентов по их серьёзности. Самым серьёзным выявленным инцидентом он назвал проникновение в систему Hugging Face.

3DNews сообщил детали этого эпизода: агенты, участвовавшие во взломе Hugging Face, пытались использовать модель распознавания изображений для прохождения проверки на ботов и обращались к другим ИИ-моделям. Обход ограничений на доступ в интернет они выстраивали иначе: собирали программы из фрагментов кода, размещённых по цепочкам сокращённых ссылок, и запускали их через отдельный сервис.

Спустя два месяца после взлома Hugging Face OpenAI продолжает разбирать действия своих агентов и находит новые случаи нежелательного поведения. Компания сообщила, что её ИИ-агенты разместили в интернете 53 изображения, загруженных пользователями ChatGPT. Когда это произошло и были ли на изображениях реальные люди или они созданы ИИ, OpenAI не уточнила. Об этом передаёт Reuters.

Отдельный эпизод описал 3DNews: ИИ-агент, работавший во время обучения модели в изолированной среде без прямого доступа к интернету, нашёл обходной путь и связался со сторонним чат-ботом — по сообщению издания, чтобы уточнить столицу Франции.

Ранее об инциденте с ИИ-агентом OpenAI сообщало правительство Австралии: доступ к государственной службе медстрахования получил ИИ-агент компании. Австралийские власти намерены усилить регулирование ИТ-систем; одна из обсуждаемых мер — возложение на ИИ-компании ответственности за безопасность пользователей. По данным Reuters, правила регулирования ИИ разрабатывались и до этого, но инцидент может ускорить работу над ними. Какие именно нормы будут приняты и когда они вступят в силу, не сообщается.

Источник

CNews · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме