Доклад
- Когда и где
-
10 июня 2024 г. 15:00, понедельник
НОЦ (К-211 нового здания) и online: https://videoconf.uran.ru/b/k4z-iqv-zk1-1ve
- Докладчики
-
-
Липаткин Алексей
-
Цуп Илья
-
Название
-
Методы эффективного сжатия журналов событий.
-
Аннотация
-
Выступят два докладчика, работающие над совместным проектом.
Липаткин Алексей "N-граммный индекс для поиска в лог-файлах"
Работа направлена на построение системы эффективного поиска шаблонов в лог-файлах. Основной задачей было получить систему, которая позволяет искать шаблоны в несколько раз быстрее, чем стандартные утилиты (grep, ripgrep), используя предобработку (которая не должна занимать намного больше времени, чем однократная обработка всего файла), при этом результат предобработки по размеру должен быть существенно меньше исходного файла. Также
данная система должна уметь с различными алгоритмами сжатия, чтобы совершать предобработку, не декодируя файл в оперативную память целиком. В качестве алгоритма сжатия был рассмотрен алгоритм, разработанный в компании Facebook — Zstandard, являющий собой комбинацию — LZ77 и Кодирования Хаффмана. Основной идеей предобработки являлось построений поискового индекса.
***
Цуп Илья "Схема сжатия лог-файлов без потерь: SubPrePCS"
Работа направлена на улучшение существующей схемы сжатия лог-файлов SubPrePCS. В результате работы предыдущая реализация схемы была ускорена в 1000 раз в среднем. Предложены и реализованы дополнительные идеи по улучшению качества сжатия схемы: был выявлен усредненный прирост в качестве от 2.5 до 7 раз по сравнению с "gzip", от 1.5 до 3.5 раз по сравнению с "bzip2" и до 1.5 раз по сравнению с "zstd". Сравнение со специализированными
инструментами сжатия логов показывает неоднозначные результаты, но можно выявить небольшое преимущество в 10-15% у схемы SubPrePCS при сравнимой скорости сжатия.
-
Презентация
-
-
Ссылка на видео
-
-
Видео
-
Вернуться к списку новостей