Banque, Finance et Assurance
Cloud Data platform Engineer AWS
Afin d'opérer les cas d’usages Data de la DSI, le projet du client a pour vocation de construire la plateforme IT 2.0 constituée de socle techniques permettant à divers profils (developpeur / analyst / datascientist /...) d'héberger, construire et opérer leur cas d'usages. skiils a participé à la construction des dataflows et data pipelines qui permettent d'ingérer des nouvelles sources de données en mode batch et temps réél dans un environnement cloud AWS.
Contexte
Le projet a pour vocation de construire la plateforme IT 2.0 constituée de socle techniques permettant à divers profils (developpeur /analyst / datascientist /...) d'héberger, construire et opérer leur cas d'usages. Construction des dataflows et data pipelines qui permettent d'ingérer des nouvelles sources de données en mode batch et temps réél.
Build
- Création, Industrialisation et automatisation de dataflows d'alimentation du datalake
- Interaction avec diverses sources de données : bases de données, fichiers, API
- Pipeline d'intégration évènements en mode temps réel
- Pipeline de consolidation ETAT à partir de flux d'événements
- Pipelines d'anonymisation des données
- Respect des principes du SI et des doctrines DATAOPS
Run
- Garant de la QOS des dataflows
- Mise en place de l’observability, monitoring, alerting
- Aide et résolution des incidents (résoudre les incidents, trouver les root causes, identifier les problèmes, rédiger des REX, gérer la communication client)
- Participer à la réduction/maitrise de la dette en améliorant l’existant et adoptant des nouvelles pratiques