На ESP32-S3 запустили диффузионный трансформер для генерации лиц 64×64
Микроконтроллер ESP32-S3 с 512 КБ оперативной памяти сгенерировал изображение лица 64×64 по текстовому промпту за 5,4 секунды. Модель — латентная диффузия с диффузионным трансформером (DiT) в int8-квантовании и с ассемблерными оптимизациями под векторные инструкции чипа. Это демонстрация того, что text-to-image умещается в отладочную плату за несколько сотен рублей без обращения к облаку.
Микроконтроллер ESP32-S3 сгенерировал изображение лица 64×64 по текстовому описанию за 5,4 секунды. Промпт — «улыбающаяся девушка со светлыми волосами». Генерация прошла целиком на самом чипе, без отправки запроса в облако.
Железо у ESP32-S3 скромное: 512 КБ оперативной памяти, два ядра по 240 МГц, тензорных ядер нет. Отладочная плата с этим чипом стоит несколько сотен рублей. Для сравнения: Stable Diffusion требует видеокарту с 4–8 ГБ памяти, Flux — от 12 ГБ, а лучше 24 ГБ.
Внутри решения — латентная диффузия с диффузионным трансформером (DiT). Модель прогнана через int8-квантование, под векторные инструкции S3 написан ассемблер. Автор также использовал ряд нестандартных оптимизаций.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Неизвестные хакеры взломали сайты более 100 компаний с помощью ИИ-агентов3DNews · 19 октября
- ▪Минобороны открыло доступ к хранилищу данных для обучения военных нейросетейTAdviser · 19 октября
- ▪Маск пообещал раздать детям в США акции SpaceX на $10,5 млрдForbes · 19 октября
- ▪Минюст США сообщил об экстрадиции из Швеции россиянина Суворова по делу о поставках электроникиTAdviser · 19 октября