BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииiXBT

Cloudflare освободила 100 ТБ оперативной памяти за счет оптимизации кода DNS-сервиса

Cloudflare освободила 100 ТБ оперативной памяти за счет оптимизации кода DNS-сервиса

Cloudflare без замены оборудования сократила размер кэшированной DNS-записи на 56%, что высвободило около 100 ТБ оперативной памяти. Оптимизация кода также ускорила скорость добавления записей в кэш на 43%, а освободившиеся ресурсы компания направит на расширение кэшей.

Cloudflare высвободила примерно 100 ТБ оперативной памяти на своей глобальной серверной инфраструктуре без замены оборудования. Инженеры компании переработали структуру DNS-кэша платформы Big Pineapple, лежащей в основе публичного DNS-сервиса 1.1.1.1.

После пяти изменений в коде на Rust размер одной кэшированной DNS-записи сократился с 953 до 420 байт — примерно на 56%. На масштабе Cloudflare это дало значительную экономию: в Big Pineapple одновременно хранится более 250 млрд DNS-записей, поэтому один лишний байт на каждую запись обходится инфраструктуре более чем в 250 ГБ оперативной памяти.

Что именно изменили инженеры

Более 15 ТБ удалось высвободить после замены динамических контейнеров Rust Vec и String на структуры фиксированного размера. После попадания данных в кэш увеличивать их емкость уже не требовалось, поэтому дополнительная память расходовалась впустую.

Инженеры также объединили три списка DNS-записей в единый буфер с двухбайтовыми смещениями и отказались от хранения повторяющихся доменных имен. Сами данные теперь хранятся в компактном сетевом формате с указанием длины. Раньше небольшая четырехбайтовая DNS-запись типа A могла занимать в памяти те же 144 байта, что и значительно более крупные записи.

Как оптимизация повлияла на скорость

Оптимизация не только освободила память, но и ускорила работу сервиса. Скорость добавления записей в кэш выросла на 43%, а задержка поиска снизилась с 828 до 670 наносекунд.

Высвободившиеся 100 ТБ сопоставимы с объемом памяти в 130 серверах поколения Gen 13 с 768 ГБ DDR5-6400 в каждом. На фоне высоких цен на серверную память такая оптимизация особенно полезна.

Cloudflare не планирует убирать освободившуюся память из серверов. Компания намерена использовать ее для увеличения DNS-кэшей. Это позволит обслуживать больше запросов непосредственно из кэша, реже обращаясь к авторитетным DNS-серверам, что снизит сетевую нагрузку и ускорит обработку DNS-запросов.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме