Автор измерил стоимость инференса Yandex AliceAI-Foundation-80B на арендованных A100
Автор на Хабре подсчитал, во сколько обходится запуск претрейна Yandex AliceAI-Foundation-80B-A3B-Base на арендованных GPU. Он заплатил 6000 рублей за неудачную попытку в Datasphere, затем получил 4 ускорителя A100 через Datasphere Jobs, а название облачного провайдера раскрывать не стал.
Автор на Хабре попробовал посчитать, сколько стоит инференс претрейна Yandex AliceAI-Foundation-80B-A3B-Base. Для запуска, по его данным, нужно четыре ускорителя A100. Обойтись парой можно только с CPU-offload, а на квантизации он идти не согласился.
GPU он арендовал в облаке, название провайдера не раскрыл. Первая попытка в Datasphere через Jupiter Notebook закончилась неудачей и стоила 6000 рублей. Затем он поднял квоты через тикеты и запросил виртуальную машину с четырьмя A100 — это не помогло. По его словам, поймать четыре A100 в теории возможно, но у него не получилось. Квоту на Gen2 не поднимают. В итоге он вернулся к Datasphere Jobs, потому что для Jupiter ускорители A100 всё же выделяли.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Фотонный вычислитель на нормах 90–45 нм планируют противопоставить GPU в ИИiXBT · 30 сентября
- ▪Epoch AI: стоимость работы с ИИ за год упала в 13 раз3DNews · 30 сентября
- ▪ИИ-агент Muse получил доступ к личным сообщениям пользователя, в Meta заявили о его вине3DNews · 30 сентября
- ▪AMD принимает заказы на серверные EPYC 9006 на 2028 год — квота на 2027-й распродана3DNews · 30 сентября