creatormedia

НовостьВидеоплатформы и стриминг

Технология YaFF от Яндекса: как сократить нагрузку на CPU при обработке данных без рефакторинга

Обработка данных в высоконагруженных системах потребляет до 10% ресурсов CPU только на операцию десериализации. «Яндекс» выложил в открытый доступ YaFF (Yet Another Flat Format) — технологию, которая позволяет считывать данные напрямую без их распаковки.

Технология YaFF от Яндекса: как сократить нагрузку на CPU при обработке данных без рефакторинга

Оптимизация стека без рефакторинга

Стандарт индустрии Protobuf обеспечивает надежную упаковку данных, но создает вычислительный оверхед: полученные пакеты необходимо каждый раз распаковывать перед чтением. Существующая альтернатива FlatBuffers позволяет избежать этого этапа, однако требует практически полной переработки программного кода.

YaFF решает проблему совместимости. Технологию можно внедрять поверх существующего Protobuf-стека. Это позволяет считывать данные напрямую из памяти или с диска, сохраняя текущую архитектуру сервиса. Мы видим решение, которое устраняет лишние циклы процессора на этапе подготовки данных к обработке.

Метрики производительности и масштабирование

Эффективность формата подтверждена на инфраструктуре рекламной системы «Яндекса». При нагрузке в сотни тысяч запросов в секунду внедрение YaFF снизило потребление ресурсов процессоров на 10–20%.

Для крупных цифровых продуктов это означает возможность обрабатывать возросший трафик без закупки нового оборудования. Технология актуальна для облачных сервисов, маркетплейсов и стриминговых платформ, где скорость доступа к датасетам напрямую влияет на задержки (latency) и общую стоимость владения инфраструктурой.

Резюме исследования

* Проблема: Десериализация данных в формате Protobuf съедает до 10% мощностей сервера.

* Решение: Формат YaFF обеспечивает чтение данных без распаковки, работая поверх стандартных протоколов.

* Результат: Снижение нагрузки на CPU на 10–20% в реальных высоконагруженных сценариях.

* Применение: Рекомендуется для внедрения в системы с интенсивным обменом данными, где критична экономия «железа».