Исследователи «Яндекса» и студенты ШАД создали MTGBench для оценки рассуждений нейросетей
«Яндекс» и студенты Школы анализа данных разработали набор тестов MTGBench, который проверяет, как нейросети справляются со сложными многоэтапными задачами. Для компаний, которые внедряют такие модели в работу, выбор подходящей модели связан с расходами на токены.
Исследователи «Яндекса» вместе со студентами Школы анализа данных (ШАД) представили MTGBench — набор тестов для нейросетей. Он оценивает способность модели рассуждать при решении сложных задач, где нужно пройти несколько этапов.
О разработке узнал Forbes. Других деталей — состава заданий, числа моделей в тестировании, результатов — в сообщении не приводится.
Для бизнеса, который всё активнее использует такие технологии, выбор модели — вопрос практический. Большое количество токенов, затраченных на работу, оборачивается заметными расходами.
Forbes · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪F6 насчитала девять хакерских групп, применявших ИИ против российских компанийForbes · 27 октября
- ▪Microsoft предложила добровольно уволиться 60 000 сотрудникам3DNews · 26 октября
- ▪Минцифры сообщило об ограничениях мобильного интернета в Москве 27–29 октябряiXBT · 26 октября
- ▪OpenAI выпустила GPT-6.1 Terra: $1 за миллион входных токенов и вдвое дешевле 6.1 SolData Secrets TG · 26 октября