OpenAI выпустила тест MedChemBench из 99 задач по медицинской химии

OpenAI представила набор заданий, который проверяет, как модели работают с молекулярными структурами и экспериментальными данными из реальных исследований. Лучший результат — 84,5% баллов у GPT-6.2 Astra; компания прямо оговаривает, что тест не доказывает способность ИИ самостоятельно открывать лекарства.
OpenAI представила MedChemBench — набор заданий по медицинской химии, то есть по той её части, которая связана с поиском и разработкой лекарственных соединений. Моделям предлагают не абстрактные вопросы на общие знания, а работу с молекулярными структурами и результатами экспериментов: нужно восстановить структуру молекулы, объяснить итоги опыта, сравнить вещества между собой и выбрать соединения, которые стоит изучать дальше.
Из чего собран тест
В основе 99 задач, составленных по материалам 117 научных статей и патентов. В заданиях фигурирует 761 молекулярная структура. В большинстве случаев модель получает тот же набор сведений, что был у исследователей на определённом этапе: биологическую мишень, цели работы, уже изученные соединения и данные прошлых экспериментов. Выводы она должна сделать сама, опираясь только на это.
Оцениваются четыре направления: правильность восстановления молекулярных структур, научное обоснование выводов, ранжирование и выбор соединений, предсказание свойств. Последнее сложнее прочего: характеристики вещества могут противоречить друг другу. Соединение бывает эффективно против белка, связанного с болезнью, но плохо проходит через клеточные мембраны или слишком быстро разлагается ферментами.
Пример с ингибиторами PRMT5
Одно из заданий построено на исследованиях ингибиторов PRMT5 — белка, который изучают в связи с разработкой противораковых препаратов. Модель должна была предсказать свойства трёх родственных соединений: насколько сильно они подавляют белок в клетках, как проходят через клеточный барьер и как быстро разрушаются печёночными ферментами. Последующие опыты показали компромисс между этими параметрами: вещество под кодовым номером «23» сильнее подавляло PRMT5, а «соединение 24» лучше проникало через барьер и медленнее разлагалось.
Результаты моделей и оговорка
По собственному тестированию OpenAI, GPT-6.2 Astra набрала 84,5% доступных баллов при максимальном для сравнения уровне рассуждений xhigh. GPT-6 Astra получила 83,3%, GPT-6.1 Sol — 82%, GPT-5.6 Sol — 58,2%. По категориям разброс большой: у GPT-6 Astra 95,4% за восстановление молекулярных структур, но лишь около половины возможных баллов за выбор соединений и предсказание численных характеристик.
OpenAI отдельно оговаривает: эти цифры не доказывают, что ИИ может самостоятельно открывать лекарства или улучшать решения лабораторий. Каждая модель отвечала на задания один раз, без дополнительных инструментов, обратной связи и новых экспериментов. То есть MedChemBench пока измеряет работу с уже известными научными данными, а не способность вести настоящую разработку препарата.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Минфин США потребовал от Nvidia ускорить расследование утечки данных в КитайiXBT · 22 ноября
- ▪Signal заблокировал скриншоты переписок на iOS 27 и включил защиту экрана на AndroidiXBT · 22 ноября
- ▪Dell, HPE, Lenovo и Supermicro подняли цены на серверы для ИИ на 25–45%3DNews · 22 ноября
- ▪OpenAI: ИИ-агенты сами выполняют 46% коротких исследовательских задачiXBT · 22 ноября