Деловой ужин «Данные, которые кормят бизнес: как ритейл строит аналитику на вырост»

22 апреля в Москве ИД «Коммерсантъ» провел деловой ужин «Данные, которые кормят бизнес: как ритейл строит аналитику на вырост». В формате бизнес-разговора эксперты обсудили технологию хранения и обработки данных, разобрали конкретные кейсы и спрогнозировали, как и когда модернизировать аналитическую инфраструктуру ритейла. Модератором мероприятия выступил корреспондент отдела медиа и телекома газеты «Коммерсантъ» Филипп Крупанин.

Руководитель продуктовой архитектуры платформы данных Yandex Сloud Леонид Савченков рассказал о том, как менялся подход к хранению и обработке информации и с какими трудностями сталкивались компании на эволюционном пути от жестко структурированных хранилищ данных к гибким «озерам данных» и, наконец, к гибридной Lakehouse-архитектуре. Корпоративное хранилище данных или Data Warehouse (DWH) представляет собой централизованную систему, в которой компания собирает сведения из разных источников, приводит к единому формату и структурирует для быстрого анализа. На основе этих данных строятся прогнозы, выявляются тренды, принимаются стратегические решения. DWH применяются во всех отраслях, где нужно вести анализ на пересечении различных подразделений и бизнес-процессов. Таким подходом компании пользовались многие годы, однако со временем появился запрос на более гибкие решения.

Концепция Data Lake (озеро данных) позволяет накапливать огромные объемы разнородных данных в исходном виде. В отличие от DWH, данные загружаются без предварительной трансформации, это обеспечивает гибкость, масштабируемость и низкую стоимость хранения для аналитики и машинного обучения. Впрочем, многие компании, которые внедряли Data Lake, столкнулись с проблемой, когда при отсутствии структуры, управления и контроля качества данных эти «озера» превращались в «болота» (Data Swamps).

С увеличением объема данных повысилась нагрузка на аналитические мощности, что привело к удорожанию DWH. Пять лет назад появился новый архитектурный шаблон — Data Lakehouse (озеро-хранилище), который позволял решать эту проблему, разделяя задачи вычисления и хранения данных. Как отметил эксперт, все три подхода к архитектуре хранения остаются актуальными. «Золотого решения нет, нужно посмотреть на конкретную ситуацию бизнеса в конкретный момент времени и выбрать то решение, что подходит ему больше. Все они работают, даже в комбинации друг с другом»,— резюмировал господин Савченков.

По словам Вячеслава Жукова, директора по данным компании АЭРО, которая активно работает с ритейлерами, многие компании выбирают именно Lakehouse. Для средних или крупных ритейлеров, которые до сих пор использовали западное ПО,— это единственный выбор. При этом наблюдается тенденция, когда Data Lakehouse возникает внутри текущих «озер данных», добавляя структуру и надежность поверх существующего гибкого хранилища.

Эксперт отметил, что многие заказчики хотят получить преимущества Lakehouse, например, для работы с машинным обучением и ИИ-агентами, но сталкиваются с проблемами при переходе на новые технологии. Data Lakehouse — это сложная сервисная архитектура с большим количеством точек отказа, поэтому бизнесу необходимо высококвалифицированные DevOps-инженеры, которые умеют с работать с распределенными системами.

В завершение мероприятия Алексей Соболеков, руководитель направления архитектуры ИС автозаказа Magnit Tech, рассказал об особенностях внедрения архитектуры Data Lakehouse на примере «Магнита». С 2024 года ритейлер начал разрабатывать собственную систему прогнозирования спроса и пополнения заказов F&R (Forecast and Replenishment). Основной сложностью при ее создании стал масштаб сети «Магнит», которая охватывает свыше 30 тыс. магазинов и 50 распределительных центров. На мировом рынке практически не было готовых систем, способных работать с таким объемом данных. По словам эксперта, была необходимость уложиться во время расчетов: три часа — для прогнозирования и четыре часа — для системы расчетов пополнения. Кроме того, система должна была быть не просто производительной, но и адаптивной. Поэтому было решено задействовать архитектуру Data Lakehouse. Проблему долгого отклика, вызванного увеличением количества пользовательских запросов, удалось решить переходом к гибридной архитектуре. «Магнит» внедрил ClickHouse в архитектуру решения , что позволило решить проблему недостаточной производительности. Собственное решение ритейлера позволило обеспечить сквозную цепочку движения товаров: от прогнозирования спроса в магазинах по каждой позиции до планирования отгрузок из распределительных центров по всем видам логистических цепочек.

Ритейл генерирует огромные объёмы данных, но ценность создаётся только тогда, когда эти данные быстро и надёжно превращаются в управленческие решения. За последние 5 лет в индустрии сформировался архитектурный подход (Data Lakehouse), который позволяет это делать принципиально эффективнее, чем классические хранилища. Подход созрел: технологии стабилизировались, появились production-кейсы в крупнейших компаниях, стал понятен набор компромиссов и лучших практик.

Мероприятие пройдет в формате бизнес-разговора о том, как и когда модернизировать аналитическую инфраструктуру ритейла: что изменилось на рынке технологий, какие результаты уже получены, какие компромиссы неизбежны и чем рискует бизнес, откладывая этот переход.

Целевая аудитория: топ-менеджмент и руководители data/IT-функций компаний ритейла и e-com (CDO, CIO, CTO, директора по аналитике, директора по цифровой трансформации)