Youness B.

DATA ENGINEER

Freelancer
2 ans
Casablanca, MOROCCO

Mon expérience

Voir plus

Entreprise DataJuly 2020 - Présent

Aujourd'hui Ingénieur BIG DATA      Data Engineer, SOFRECOM, Juillet 2020 Entreprise Data HUB - périmètre des Uses Cases DSIE.

* Décommissionnement d'Info centre RCE de la BI classique Teradata vers BIG DATA, en effet, ça concerne la migration d'un projet qui interagit avec 27 messages MIR ( fichiers en entrée ) et qui sert à alimenter 34 tables socles et 5 vues métiers. Après l'analyse de l'existant et le recueil des règles de gestion, j'ai entamé la conception de la nouvelle architecture bigdata qui consiste à traiter les don-
néesdans4phases:Datalake,PreparedDATA,EnrichedDATAetSmartDATAviadesapplicationsspark.
Après la migration, j'ai implémenté les évolutions que ce projet a connu.

* Développement du projet L23 Facturation qui sert à gérer les données facturation par bassin ( 20 bas- sins en entrée ) avec deux fréquences quotidienne et mensuelle. En effet, durant la réalisation, j'ai
implémenté un système d'ingestion spécifique qui reste à l'écoute en attendant les bassins en entrée afin de faire le nettoyage et l'alimentation des tables ODS. Enfin, j'ai enrichi les données dans l'espace
EnrichedDATA et les ai exporté au partenaire INSIDE.

* Conception et développement des workflows / coordinateurs via Oozie. J'implémente les actions spécifiques à chaque traitement (Spark, hive, shell, ...), je gère aussi les dépendances au niveau des coordinateurs ( input event, data-set, timeout, ...).

* Point d'entrée avec les partenaires Teradata ( Analyse des problèmes d'encodage, synchronisation entre les architectures Teradata et Bigdata, analyse de l'existant en cas de décommissionnement et identification des RGs from CODE ... ).

* Intégration d'un composant spark-scala dans le framework EDHDSIEP LIB qui permet l'historisation
des données dans HIVE et avoir une visibilité / accès sur l'historique de chaque ligne ( by ID ).

* Développement d'un système de la purge des fichiers générés par un outil d'export interne EOG dans hdfs.

* Evolution du composant qui traite la purge des table hives en se basant sur une condition temporelle seulement, en rajoutant l'option qui permet plus de la condition temporelle d'utiliser aussi les autres partitions dans l'algorithme correspondant.

* Rédaction des CRs des réunions et des documentations techniques ( Architecture, Ordonnacement, CI).

* Tests unitaires et recettes fonctionnelles.
HDP 2.6 Spark Scala Hive Oozie HDFS Shell GIT JIRA Intellij IDEA SCRUM

YOUNESS BOUHSISE - CV 1

Juillet 2020 Ingénieur BI      Concepteur Développeur BI, SOFRECOM, Casablanca
Voir plus

BNP PARIBASJune 2019 - June 2019

Ingénieur BI      Analyste développeur BI, IBM POUR BNP PARIBAS,

ENSAAugust 2017 - August 2017

Mes compétences

Teradata, SQL, Shell, Scala, Oozie, MySQL, Jira, JavaScript, Java, IntelliJ Idea, Hive, HDFS, Hadoop, Git, ETL, Eclipse IDE, Data Warehousing, Business Objects, Big Data, Apache Maven