Loginom — анализ за границами возможностей Excel

26 января 2023
5 комментариев

Excel — программный продукт, который не нуждается в представлении. Однако, несмотря на популярность, он обладает рядом ограничений, создающих трудности при решении сложных аналитических задач. В статье расскажем, как Loginom работает там, где не справляется Excel.

«Excel повсюду. Пожалуй, это наиболее популярная программа за всю историю существования бизнес-приложений. Поэтому не будет большим преувеличением сказать, что все мы живем в мире Excel», – Michael Alexander, Microsoft Excel 2019 «Bible»

Эта цитата наиболее точно отражает реалии современного бизнеса. За долгие годы своего существования программа глубоко проникла на рынок. При помощи Excel пытаются решать чуть ли не все задачи бизнес-аналитики: от расчета KPI и визуализации до моделирования и прогнозирования. Пользователи любят продукт за интуитивный интерфейс и гибкость в решении разнообразных задач.

Однако Excel имеет несколько узких мест:

  1. Ограничение по количеству обрабатываемых данных
  2. Низкая производительность на больших объемах
  3. Сложности при автоматизации выполнения последовательностей действий
  4. Неудобство переиспользования сценариев обработки
  5. Сложность реализации API (программного интерфейса приложения)

В связи с этим возникает необходимость применения инструмента, способного преодолеть возникающие ограничения.

Таким продуктом в сфере продвинутой аналитики является платформа Loginom, которая позволяет обрабатывать большие объемы данных, реализовывать сложную логику без навыков программирования, сохраняя при этом высокое быстродействие.

Рассмотрим подробнее те ограничения, с которыми сталкиваются пользователи Excel и варианты их преодоления при помощи Loginom.

Ограниченный массив данных

Все чаще аналитики вынуждены оперировать большими массивами данных. Это становится проблемой при работе в Excel, т.к. лист Excel может содержать не более 1 048 576 строк.

Может показаться, что миллион записей — это достаточный объем, который покрывает 99% потребностей пользователей. Однако на сегодня предприятиями генерируются такие большие массивы данных, что практически каждый аналитик сталкивается с этим ограничением.

Например, по данным годового отчета 2021г. X5 Retail Group, в день в среднестатистическом магазине «Пятерочка» продается ~140 тыс. единиц товара. То есть в Excel, невозможно проанализировать больше одной недели работы обычного магазина.

При попытке загрузить большой массив данных целиком, пользователь видит следующее уведомление:

Ошибка обработки данных в Excel

Конечно, есть обходные пути решения:

  • Использование надстроек и дополнительного ПО
  • Распределение информации по нескольким листам или книгам
  • Разделение данных на входе по нескольким файлам

Однако их применение влечет за собой следующие издержки:

  • Нарушение целостности информации. В связи с распределением записей по нескольким листам или файлам повышается риск внесения изменений, нарушающих связность данных.
  • Повышение трудоемкости. Управление несколькими наборами данных значительно сложнее, чем одним, особенно если для анализа требуется произвести множество нетривиальных операций с ними.
  • Временные затраты. Необходимо выполнять лишние действия для подготовки данных. Перед началом работы таблицы, которые содержат более 1 млн. строк нужно разбить на несколько частей, а в конце — собрать воедино, что требует дополнительного времени.

В то время как в Loginom могут обрабатываться наборы данных, содержащие сотни миллионов записей. Причем работа с большими массивами данных не требует никаких дополнительных усилий со стороны пользователя.

Низкая производительность на больших данных

Еще одним побочным эффектом роста объема данных является замедление скорости расчетов Excel. Дело в том, что для обеспечения комфортной работы в Excel применяются волатильные (летучие) формулы, которые производят перерасчет при любых изменениях в документе.

Excel по умолчанию пересчитывает все формулы такого типа на всех листах всех открытых книг после каждого введения данных вне зависимости от того, были ли изменения в данных этих формул или нет. Это очень удобно, но в случае, когда лист содержит десятки и сотни тысяч формул, автоматический пересчет начинает серьезно замедлять процесс работы с программой.

Одним из решений этой задачи является включение ручного пересчета формул Excel для повышения скорости работы. Однако в этом случае возникает риск получить неактуальную информацию, т.к. сложно вручную контролировать формулы в тысячах ячеек одновременно.

В Loginom нет подобных проблем, т.к. платформа изначально проектировалась для выполнения расчетов на больших объемах данных. Кроме того, Loginom имеет асинхронный пользовательский интерфейс, который позволяет продолжать работать со сценарием в тот момент, когда происходит загрузка данных или производятся длительные вычисления.

Автоматизация выполнения цепочек действий

Excel предоставляет большое количество функций, с помощью которых можно реализовать различные вычисления. Однако если возникает необходимость решения нетривиальных задач с использованием сложной логики, потребуются навыки программирования.

Для реализации таких алгоритмов необходимо задать последовательность операций, что выполняется в Excel при помощи встроенного языка VBA. Не у каждого пользователя достаточно квалификации, чтобы прописывать скрипты и создавать макросы.

Поэтому анализ с применением нейросетейассоциативных правилкластеризации и многих других сложных алгоритмов будет недоступен для большинства пользователей Excel. Особенно если речь идет о сценариях, предполагающих не расчет по одной формуле, а объединение данных из множества источников, очистку и предобработку с последующим применением методов машинного обучения.

Сценарий обработки в Loginom

Благодаря визуальному проектированию сложная аналитика выполняется в Loginom без кодирования. В сценарии можно реализовать любую последовательность действий. А в случае, когда стандартных средств недостаточно для решения бизнес-задач, есть возможность подключения готовых библиотек компонентов.

Затрудненное переиспользование

Помимо трудоемкости создания макроса, есть еще одна проблема: его сложно применить снова. Дело том, что созданный макрос по умолчанию сохраняется в самой книге Excel и, соответственно, работает только внутри нее.

Для решения этой проблемы необходимо подключить личную книгу макросов в Excel — Personal.xlsb, которая будет автоматически открываться в фоновом режиме при каждом запуске программы. Помещенные в нее макросы будут доступны для всех книг на данном ПК. Однако при открытии Excel-файла на другом компьютере пользователь не сможет получить доступ к макросам.

Кроме того, вносить изменения и перестраивать логику вычислений внутри готового макроса без знаний программирования тоже не получится.

Создание и переиспользование подмодели в Loginom

В Loginom из любого узла без кодирования можно создать производный компонент, который в виде подмодели может быть многократно использован для решения разного рода задач. Это позволяет пользователю переиспользовать наработки, а не тратить время на рутинные операции, что положительно отражается на производительности труда.

Сложность реализации API

Программный интерфейс приложения API в Excel реализуется только при использовании надстроек. В базовой версии продукта он отсутствует, поэтому для обмена информацией пользователи вынуждены либо пересылать файлы почтой, либо использовать облачные хранилища.

Эти методы приемлемы, когда нужно передать данные между двумя пользователями. Однако при коллективной работе, пользователи сталкиваются с большим количеством сложностей. Например, обмен файлами имеет множество потенциальных точек отказа, плохо масштабируется, не обеспечивает стандартную интеграцию со сложной корпоративной инфраструктурой, плохо автоматизируется.

Обмен данными при помощи стандартных API решает данную проблему простым и элегантным способом. В Loginom можно двумя щелчками опубликовать веб-сервисы с поддержкой REST JSON или SOAP XML. Использование API позволяет исключить любые ручные операции при передаче данных, что в свою очередь, ликвидирует риски искажения и порчи информации в результате человеческих ошибок.

Благодаря API доступ к данным может быть организован не только внутри одной компании, но и между разными организациями. Например, компания-партнер может получить необходимую информацию напрямую через веб-сервис без пересылки Excel-файлов.

Кроме того, есть возможность настройки авторизации пользователей, что позволит разграничить доступ к информации. Например, сотрудники компании будут иметь доступ ко всей информации, а партнеры – только к той, что касается их региона.

Продвинутая аналитика с помощью Loginom

Excel по-прежнему остается одной из самых популярных программ для решения разнообразных задач. Это универсальное средство работы с небольшим объемом данных. Данный инструмент знаком практически каждому, и им действительно удобно пользоваться.

Тем не менее аналитики регулярно сталкиваются с ограничениями Excel. В этих случаях необходим новый инструмент. Применение платформы Loginom для решения задач продвинутой аналитики поможет преодолеть узкие места Excel:

  • Обрабатывать большие объемы данных
  • Реализовать сложную логику без программирования
  • Обеспечить высокую скорость обработки
  • Предоставить возможность переиспользования наработок
  • Публиковать веб-сервисы

Резюмируя, можно сказать, что внедрение Loginom — шаг к современной и технологичной работе с данными.

Другие материалы по теме:

Экосистема Loginom: что пользователю нужно знать о платформе

Loginom-ускорители: как сделать за полчаса аналитику, на которую обычно уходит месяц

Три условия превращения аналитика в Citizen Data Scientist

#loginom#self-service

Смотрите также