Scale Labs: лучшая мультимодальная модель набрала 53,6% против 93,1% у человека

Исследовательское подразделение Scale Labs вместе со стартапом Elorian, который основал бывший сотрудник Google DeepMind, представило бенчмарк Humanity's Sixth Sense. Это инструмент для проверки того, насколько ИИ умеет считывать неявные сигналы на изображениях и в видео. Тест включает 522 задания: 288 статичных сцен и 234 видеофрагмента. Моделям задают вопросы, которые человек решает интуитивно — проедет ли машина в зазор между припаркованными автомобилями, кто в комнате обладает негласной властью, каковы намерения человека в кадре.

В испытаниях участвовали 25 актуальных мультимодальных моделей. Контрольная группа людей набрала 93,1% точности. Лучший результат среди моделей — у GPT-6 Astra, 53,6%. GPT-6.1 Sol остановился на 46,6%, Claude Opus 5.5 — на 44,6%. Медиана по всей выборке составила 30,9%.

Анализ более 8 500 неудачных ответов показал, где именно ломается модель. 94% ошибок вызваны особенностью машинного зрения: система не замечает визуальные маркеры и теряет контекст. На ошибки логики приходится 5%. Увеличение вычислительного бюджета — в среднем 4 000 токенов на ответ — картину не исправило, а в части случаев точность даже падала. Эмуляция фокусировки через обрезку кадров дала минимальный эффект.

Вывод Scale Labs: наращивание логического вывода не компенсирует архитектурные ограничения базового компьютерного зрения.