BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииХабр ИИ

Хабр ИИ: домашний сервер на двух Tesla P100 выдаёт от 10 до 50 токенов в секунду

Хабр ИИ: домашний сервер на двух Tesla P100 выдаёт от 10 до 50 токенов в секунду

Автор Хабр ИИ собрал локальный сервер на двух Tesla P100 с суммарными 32 ГБ видеопамяти и 28-поточном Xeon, чтобы работать с нейросетями без облака. Питание — около киловатта, сервер вынесен на кухню из-за шума турбин. Скорость генерации составила от 10 до 50 токенов в секунду на 14 реальных задачах.

Автор Хабр ИИ собрал домашний сервер для работы с нейросетями без зависимости от облачных сервисов. Конфигурация: две серверные видеокарты Tesla P100 с суммарными 32 ГБ видеопамяти, процессор Xeon на 28 потоков и блок питания примерно на киловатт. Из-за шума турбин сервер пришлось вынести на кухню.

Скорость генерации на 14 реальных задачах составила от 10 до 50 токенов в секунду. Автор описывает сборку как честный рассказ с цифрами и бенчмарками, которые проверял лично.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме