Об этом 11 февраля 2020 г. сообщили в дирекции региональных продаж Газпром нефти.
Озеро данных (Data Lake) представляет собой элемент инфраструктуры больших данных (Big Data), хранилище большого объема неструктурированной информации в интересах отдельной организации.
Data Lake считается наиболее продвинутым архитектурным шаблоном для комплексных аналитических платформ.
Концепция подразумевает совместную работу корпоративных озера данных, хранилища данных, средств их виртуализации с компонентами интеграции данных и Data Governance (управление метаданными, управление качеством данных, бизнес-глоссарий) таким образом, чтобы все категории пользователей могли получить доступ к актуальному каталогу, происхождению, правилам по качеству данных через единый пользовательский интерфейс.
Фактически Data Lake открывают для аналитиков возможность изучения неочищенных, не агрегированных данных и применения к ним различных аналитических техник.
«Умное озеро данных», внедренное в дирекции региональных продаж Газпром нефти, включает компоненты обработки, хранения и анализа данных (Data Lake и хранилище данных), лабораторию продвинутой аналитики Data science, работающие в тесной интеграции с компонентами Data Governance.
Ключевые для «умного озера данных» компоненты Data Governance реализованы на платформе Informatica, которая является признанным мировым лидером решений для интеграции и управления данными.
Партнером по поставке и поддержке внедрения продуктов Informatica выступил официальный представитель Informatica в России и СНГ - компания DIS Group.
Решение работает на 48 физических серверах и использует 12 выделенных систем хранения данных (СХД), оборудование размещено в Центре обработки данных Газпром нефти в г. Санкт-Петербург.
«Умное озеро данных» признано «Проектом года» IT-портала Global CIO в номинации «Аналитические решения и Big Data».
Комплексное решение создает гибкую инфраструктуру для любых задач анализа и системного улучшения качества данных, что позволяют быстро разрабатывать и внедрять клиентские решения и повышать операционную эффективность сбытового бизнеса.
За счет централизации обработки и хранения данных снижаются затраты на инфраструктуру и подготовку данных для проектов компании.
Сотрудники получают мгновенный доступ через единый пользовательский портал к описаниям любых объектов и наборов данных.
Это позволяет прогнозировать предпочтения клиентов и персонализировать предложения.
По словам директора по региональным продажам компании Газпром нефть А. Крылова, активное использование инструментов Data Governance в течение 3 лет позволит компании повысить качество данных на 60%, что значительно снизит операционные риски и затраты бизнеса.
Кроме этого, в платформу были интегрированы данные значительного числа внешних источников, в частности, Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, Яндекс, открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений.
Внедрение аналитической платформы является частью стратегии цифровой трансформации дирекции региональных продаж.
В рамках данной стратегии, около 50% всех аналитических проектов и инициатив дирекции уже реализуются в контуре «умного озера данных».
В 2020 г. их доля достигнет не менее 75%.
Автор: Е. Алифирова
