Хабр ИИ: домашний сервер на двух Tesla P100 выдаёт от 10 до 50 токенов в секунду

Автор Хабр ИИ собрал локальный сервер на двух Tesla P100 с суммарными 32 ГБ видеопамяти и 28-поточном Xeon, чтобы работать с нейросетями без облака. Питание — около киловатта, сервер вынесен на кухню из-за шума турбин. Скорость генерации составила от 10 до 50 токенов в секунду на 14 реальных задачах.
Автор Хабр ИИ собрал домашний сервер для работы с нейросетями без зависимости от облачных сервисов. Конфигурация: две серверные видеокарты Tesla P100 с суммарными 32 ГБ видеопамяти, процессор Xeon на 28 потоков и блок питания примерно на киловатт. Из-за шума турбин сервер пришлось вынести на кухню.
Скорость генерации на 14 реальных задачах составила от 10 до 50 токенов в секунду. Автор описывает сборку как честный рассказ с цифрами и бенчмарками, которые проверял лично.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября