DATA ENGINEER

Dans le cadre de plusieurs projets :
• Data Lake existant créé il y a 5 ans à faire évoluer
• Construction de nouveaux projets
• Accompagnement des clients dans l’ingestion des données et développement et amélioration du Raw Data Lake

Projet 1 : Création d’un ETL (Unified Data Layer (UDL))
Afin de consolider les données et répondre aux besoins des utilisateurs (Clients, data scientistes, Tableau, Dashbords…), nous avons créé un Framework ETL nommé Unified Data Layer (UDL) qui permet d’extraire les données ingérées dans le Data Lake et les consolider afin de produire une ou plusieurs tables cibles définies selon un cahier de charge par l’utilisateur.

Réalisations :
• Développement des composantes de l’UDL :
➢ Extraction
➢ Consolidation
➢ Homogénéisation, Standardisation
➢ Merge (Fusion de données)
• Automatisation des tests : Test et validation du comportement de chacune des composantes ci-dessus
• Documentation du Framework UDL et de son utilisation

Stack Technique :
• Langages : Python, SQL, Git
• AWS Cloud: EMR (Presto, Hive), EC2, Redshift, Redshift Spectrum, Lambda, DynamoDB, S3, RDS, System Manager, CodeCommit, CloudFormation (~Terraforme)
• Documentation et Agilité : Scrum, Jira, Confluence

Projet 2 : Renforcement du Raw Data Layer (RDL)
Répondre aux nouvelles demandes d’ingestion ainsi que l’enrichissement du Data Lake existant

Réalisations :
• Conception, développement et enrichissement des patterns d’ingestion (Upsert Delete, Append, Termination, Dry Run…)
• Ingestion de données et des metadata de différentes sources données à travers le monde.
• Support RDL (environnements Développement, Préproduction (QA), Production)
• Gestion des droits d’accès aux données et du cycle de vie dans S3
• Déploiement du code
• Automatisation de tâches de support en python
• Tests automatiques
• Documentation

Stack Technique :
• Langages : PySpark, Python, SQL, Git
• AWS Cloud: EC2, Lambda, EMR (Spark, Hive, Presto), S3, DynamoDB, RDS, Redshift, CloudFormation (~Terraforme), StepFunction, CodeCommit, System Manager
• Documentation et Agilité : Scrum, Jira, Confluence

Projet 3 : Mise en place de la réplication de données d’un autre environnement AWS
• Mise en place d’une data pipeline de réplication de données depuis Redshift appartenant à une autre région AWS vers Redshift de notre région AWS.
• Automatisation du Framework réplication
• Tests automatiques
• Documentation

Stack Technique :
• Langages : Python, SQL, Git
• AWS Cloud: Lambda, Redshift, CloudFormation, StepFunction, CodeCommit, System Manager
• Documentation et Agilité : Scrum, Jira, Confluence