Loginom: высокая производительность

Одной из главных задач при создании новой версии аналитической платформы было достижение высокой производительности.

Быстрый доступ к данным, эффективная утилизация «железа», быстрые алгоритмы обеспечивают высокую скорость работы с большими объемами данных.

Используется совершенно новый внутренний формат файлов LDF:

• Быстрое чтение;
• Быстрая запись;
• Экономия места на диске;
• Хранение метаданных.

Эффективно утилизируются ресурсы:

• Автоматическое распараллеливание выполнения сценария;
• Линейный рост скорости при увеличении числа ядер;
• Возможность ручного управления порядком выполнения;
• Цикл с переобучением моделей для каждой группы объектов;
• Активное использование оперативной памяти.

Оптимизация алгоритмов:

• Применение самых быстрых библиотек;
• Хранение данных в специальных структурах с учетом особенностей каждого алгоритма;
• Обработка данных окнами;
• Реализация алгоритмов для оптимальной работы в многоядерных системах.

Работа в Loginom комфортна даже при выполнении долгих операций с сервером, интерфейс не блокируется.

Субботин Алексей
ведущий разработчик платформы Loginom

Дата выступления: 
2 ноября 2017