Retour à la liste
Safouane C.

Data Engineer

660 dollar
Freelancer
5 ans
Saint-Ouen, FRANCE
Hadoop Hive PySpark Python Scala Spark

Mon expérience

Voir plus

Groupe Caisse des DépôtsJanuary 2021 - Présent

- Développer et évoluer les ingesteurs de chargement de données hétérogènes ( bases relationnelles structurées et fichiers plats ).
- Développer un outil de détection automatique de changement de schéma Légacy vs Hive
- Valider les développements avant la mise en production
- Restituer les données sous des dashboards Kibana
- Build de template ( shell, python, pyspark ) et assurer le Continuos Integration.

Environnement Technique : Pysp

Voir plus

Groupe BPCEOctober 2018 - January 2021

Mise en place des flux de données et l'ingestion automatique des sources hétérogènes dans le Cluster Hadoop et la mise en production:

- Développer un Ingesteur Sqoop puis migration en Ingesteur PySpark ( Spark DF, SQL ).
- Ingesteur PySpark permet l'intégration automatique des données hétérogènes dans le Datalake : exposition journalière des data sous Hive, gestion FULL automatique de création de tables et montée de schéma et gestion des pistes d'audit.
- Industrialiser et ordonnancer les jobs et flux d’exécution avec ControlM et gestion des déploiements ( XLDeploy ) et des releases ( XLRelease). Ainsi avec le module Luigi (python).
- Accompagner dans la migration de HDP2 vers HDP3.

Développer un Moteur d'Analyse Comportementale pour prédire les comportements clients en intégrant la méthode du Word Embedding:
-Développer un job pour intégrer les données brutes dans Hadoop.
- API REST: Développer les connecteurs pour lire/écrire dans HDFS/ Hbase/ ElasticSearch.
- Data préparation. : analyse, nettoyage et préparation des données semi-statiques ou événement ( gestion des Null , croisement, agrégats.. ) pour le data Scientist.
- Indexer (bulk) des data dans ElasticSearch et Restitution avec Kibana .

Environnement technique : PySpark, Python, Hbase, Hive, Sqoop, ElasticSearch, Luigi, PowerShell, XLDeploy, XLRelease, Ranger

Voir plus

Société GénéraleSeptember 2017 - September 2018

La direction financière, Banque de Détails en France :

- Détection des outliers dans les données, analyser et interpréter les résultats et proposer les solutions techniques pour la remédiation .

- Identification, mise en place et suivi des contrôles de qualité du référentiel tiers.

- Analyser les besoins, mettre en place et maintenir les programmes d’analyse automatisés et des KPI pour le reporting de l'état de la qualité de données.

- Profilage de des données.

Environnements : Oracle Data Quality, Python ( Web Scraping ), R, Visual Basic.


Voir plus

CapgeminiSeptember 2015 - September 2016

CDI Capgemini, pour le compte de BNP PARIBAS, équipe Moyens Paiement :
- Programmer, analyser et développer les composants applicatifs.
- Composer des tests sur les chaînes et les transactions.
- Réalisation des TSU.
- Intervenir sur la maintenance corrective et évolutive du patrimoine applicatif, TMA.

Environnement technique :
- Mainframe ( Z/OS) , MVS , COBOL , DB2 .

 Au sein du périmètre Order Management chez ESSILOR , mes responsabilités consistent à :
- Assurer la responsabilité des processus fonctionnels en terme d'analyse.
- Analyser les besoins utilisateurs.
- Proposer les solutions les mieux adaptées.
- Suivi du workflow de commandes.

 Compétences développées :
- Développer mon sens de l'analyse, de la planification et de l'organisation.
- Créativité, développer mon sens de l'initiative dans la résolution de problèmes .




Mes compétences

Application servers

ELK

Analysis methods and tools

Merise, Scrum

Business Intelligence

CONTROL-M

Languages

PHP, SQL, Cobol, Scala, ASP.NET, C, PL/SQL, VB.NET, UML, PowerShell, Python, Java, Java EE

Others

Kibana, Scrumban

Technologies

HDFS, ElasticSearch, REST API

Big Data

PySpark, Spark, Hive, Apache Sqoop, Hadoop

Databases

MySQL, Oracle, SGBDO O2, MongoDB, DB2, HBase

IT Infrastructure

Linux, Git, Unix

Computer Tools

Microsoft Office Pack

Middleware

Jenkins

Mes études et formations

Master Big Data et Fouille de Données - Université Paris 82016 - 2018

Licence Professionnelle, Ingénierie Informatique , Systèmes , Bases de Données et Réseaux - École normale supérieure2014 - 2015