Автор измерил стоимость инференса Yandex AliceAI-Foundation-80B на арендованных A100

Автор на Хабре подсчитал, во сколько обходится запуск претрейна Yandex AliceAI-Foundation-80B-A3B-Base на арендованных GPU. Он заплатил 6000 рублей за неудачную попытку в Datasphere, затем получил 4 ускорителя A100 через Datasphere Jobs, а название облачного провайдера раскрывать не стал.
Автор на Хабре попробовал посчитать, сколько стоит инференс претрейна Yandex AliceAI-Foundation-80B-A3B-Base. Для запуска, по его данным, нужно четыре ускорителя A100. Обойтись парой можно только с CPU-offload, а на квантизации он идти не согласился.
GPU он арендовал в облаке, название провайдера не раскрыл. Первая попытка в Datasphere через Jupiter Notebook закончилась неудачей и стоила 6000 рублей. Затем он поднял квоты через тикеты и запросил виртуальную машину с четырьмя A100 — это не помогло. По его словам, поймать четыре A100 в теории возможно, но у него не получилось. Квоту на Gen2 не поднимают. В итоге он вернулся к Datasphere Jobs, потому что для Jupiter ускорители A100 всё же выделяли.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября