OpenAI раскрыла, как будет работать с Консультативной группой по математике и ИИ

OpenAI объявила, что предоставит сторонним аудиторам доступ к своим ИИ-моделям на более ранних стадиях разработки, чем допускалось раньше. Об этом компания сообщила после того, как в середине месяца руководство OpenAI и Anthropic публично высказалось о необходимости снижения темпов развития ИИ ради общественной безопасности. Каких-либо деталей — с какого именно этапа допустят проверяющих, что им позволят смотреть и когда это заработает — OpenAI не привела.

Позже компания раскрыла устройство сотрудничества с независимой Консультативной группой по математике и искусственному интеллекту (Advisory Group on Mathematics and Artificial Intelligence), созданной самими математиками и размещённой при Институте перспективных исследований (Institute for Advanced Study) в Принстоне. OpenAI планирует обращаться к участникам группы при оценке значимости новых математических результатов, подготовке к публикации и определении того, как их следует представлять научному сообществу. Кроме того, математики будут консультировать компанию по академическим и профессиональным стандартам исследований, а также по тому, как ИИ-инструменты могут использоваться для математических исследований и обучения. О создании группы стало известно 21 сентября.

При этом OpenAI подчёркивает независимость группы. Её участники смогут давать компании непрошеные рекомендации, публично комментировать влияние OpenAI на математику и самостоятельно публиковать свои заключения. Компания не оплачивает их работу, а состав группы может меняться без согласования с OpenAI. Отдельно оговорено, что математики не будут консультировать компанию о том, как следует развивать внутренние математические модели.

Причиной для такого взаимодействия стал прогресс математической модели OpenAI. Компания утверждает, что начала её обучение 28 августа, а затем система решила более 100 открытых задач в большинстве областей математики. Отдельно OpenAI заявила о решении задачи Навье — Стокса — одной из семи задач тысячелетия. Эти результаты стали поводом для внутренних обсуждений о том, как сообщать о быстром развитии ИИ математическому сообществу.

В OpenAI также сослались на открытое письмо математиков «A Severe Misalignment of AI in Mathematics», авторы которого предупреждают о возможных негативных последствиях использования решений открытых задач как показателя возможностей новых ИИ-систем. Компания признаёт, что развитие таких инструментов требует участия математиков, и называет сотрудничество с независимой группой первым шагом.

Сама группа отдельно подчёркивает: её заявление не подтверждает ни количество и содержание результатов, о которых говорит OpenAI, ни их математическую корректность, происхождение или порядок последующей публикации. Рекомендации будут публиковаться открыто, а группа планирует принимать предложения от математического сообщества.

Так, речь идёт не о совете, который будет принимать решения для OpenAI, а о независимой группе, чьи рекомендации компания намерена учитывать при работе с математическими результатами ИИ-моделей. Насколько этот механизм повлияет на публикацию и независимую проверку заявленных достижений, станет понятно после появления первых рекомендаций группы.