Notre terrain de jeu

Contexte

• Projet pilote de développement de la nouvelle Data Factory du client
• Migration et orchestration de pipelines ETL sur Google Cloud Platform (depuis des applications on premise)
• Mise en place d'une plateforme Data conçue avec l'architecture Data Mesh
• Modélisation de données, calcul de KPI Financiers permettant à la direction financière une analyse financière en temps réel sur PowerBI

Stack Technologique

• Langage de manipulation / transformation des données : Python
• Stockage / base de données : bases type RDBMS, stockage cloud (Google Cloud Storage), DataWarehouse BigQuery
• Architectures Data Mesh (avec BigQuery)
• Systèmes d’architecture de flux / consommations de données :
  - batch / fichiers plats
  - orienté évènements (Cloud Functions, Cloud Composer)
• Services Cloud mis en œuvre dans les tâches de data pipeline ETL (Cloud Functions, Cloud Composer/Airflow, Dataflow)
• Systèmes de CI / CD

Contexte

Le client a engagé un programme de modernisation qui vise à transformer ses processus et son SI pour garantir au client une expérience digitale by-design et data driven quel que soit son besoin ou celui de ses proches.

Ces travaux touchent tout autant l’activité commerciale, la relation client que les activités de backoffice.

Nous accompagnons le volet DATA qui a pour objectifs :

• De mettre en œuvre le nouveau SI décisionnel de l’ensemble des données de l’entreprise, bâti sur le Cloud Azure
• De faciliter les prises de décision stratégique et opérationnelle à travers l’exploitation de ces données

Intervention

• Définition des solutions d’architecture sur la plateforme Azure
• Analyse, conception, développements et optimisation des flux (acquisition, traitement et exposition)
• Mapping de données
• Optimisation des pipelines d'extraction depuis plusieurs sources de données (extraction de bases, API)
• Fichiers plats en sortie vers le Datalake pour injection dans le SID
• Formation des ressources techniques (Data Engineer et équipe Recette)
• Dashboard PowerBI pour les métiers

‍

Contexte

La connaissance des utilisateurs afin de personnaliser leurs expériences constitue est un facteur clé du développement chez le client. Dans ce cadre, l’équipe  User Knowledge joue un rôle majeur afin de contribuer à l’accroissement de la connaissance utilisateur et d’animer l’écosystème digital et physique autour de leurs performances clients.

Intervention

• Expertise sur la constitution de datasets & KPIs
• Accompagner les choix techniques de l’équipe
• Consolidation du data processing du projet (de la collecte d’info de BigQuery, le processing dans l’environnement AWS et l’exposition dans une API)
• Assurer la qualité des traitements et des données
• Comprendre un modèle de données et s'en servir
• Transformation d’une donnée brut en un dataset utilisable
• Création des KPIs à partir des données du Datalake et exposition dans une API
• Développement de modèles de données et des outils de transformation
• Mise en place des indicateurs de mesure de qualité sur chaque développement engagé pour assurer la bonne mise à disposition de la donnée

Contexte

Au sein du DataHub, l’intervention a 2 objectifs principaux :

• Consolider les données hétérogènes en produisant un modèle commun
• Production des tableaux de bord visant à avoir un Benchmarking des agences d’Engie sur plusieurs axes d’analyse (Commerce, Consommation et performance énergétique, Santé et Sécurité des techniciens, calcul de pénalité de retard d’interventions …)

Intervention

• Mise en place de différents modèles de données
• Description des besoins et des process métiers; modélisation de plusieurs sources de données.
• Meetings avec plusieurs directeurs pour la définition des besoins métier
• Enrichissement du modèle avec des calculs complexes DAX, MDX (Ytd, Mtd …)

Défis relevés

• Mission en collaboration avec plusieurs équipes pluridisciplinaires, métier et IT :
  - Product Owner
  - Scrum Master
  - architecte
  - Consultants BI
• Contexte Agile Scrum