CV ATS Data Engineer — Modèle FR orienté conversion (passe les filtres)

Data Engineer orienté production, spécialisé dans la conception et l’industrialisation de pipelines ETL/ELT fiables. J’utilise au quotidien Python et SQL pour la transformation des données, et Apache Spark pour les traitements à grande échelle. J’orchestré des DAGs avec Apache Airflow et j’industrialise le data modeling avec dbt (tests, documentation et conventions). Mon approche se pilote par des KPI concrets : SLA (ex. 99,8%), latence moyenne et taux d’échec, afin de garantir des données actionnables pour les équipes métier.

Conception et mise en production de pipelines de données de bout en bout : ingestion, transformation, validation et chargement dans le data warehouse (Snowflake/BigQuery/Redshift). J’implémente des stratégies d’ingestion batch et, lorsque nécessaire, du streaming via Kafka pour réduire la latence. Sur le plan technique, je combine l’écriture de transformations en Python/SQL, l’exécution distribuée dans Spark et le versioning/paramétrage des workflows dans Airflow. Côté qualité, j’intègre des tests dbt (not_null, unique, relations) et un monitoring opérationnel pour suivre la disponibilité et les incidents.

Je réduis le temps de traitement en optimisant Spark (partitionnement, format parquet/orc, stratégie de jointures) et en rationalisant les requêtes SQL. J’améliore la robustesse des pipelines via retries contrôlés, gestion des dépendances et timeouts cohérents dans Airflow, tout en limitant les défaillances en cascade. Je formalise la gestion du lineage et la traçabilité des changements grâce à la documentation dbt et à une démarche CI/CD adaptée (tests automatisés avant déploiement). Exemples de KPI : baisse de 25–30% du temps de traitement, amélioration du SLA, et réduction du taux d’échec par l’ajout de validations en amont.

Je développe et opère sur des environnements cloud en fonction des contraintes de l’entreprise : AWS (S3, Glue, Redshift), GCP (BigQuery, GCS) ou Azure (Data Factory/Synapse selon stack). Dans les architectures modernes, je structure des données en couches (staging, marts) et je veille à la cohérence des schémas pour faciliter la consommation. Les workflows sont orchestrés avec Airflow, la modélisation est portée par dbt, et l’exécution s’appuie sur Spark selon la volumétrie. Pour le streaming, j’utilise Kafka et des mécanismes de reprise pour assurer la continuité, même en cas d’événements ou de latence réseau.

ETL/ELT : ingestion, transformation, chargement, gestion des schémas et des évolutions (contrats de données lorsque applicable) ; optimisation des transformations SQL et Python. Data modeling : star/snowflake schemas, dbt models, tests et documentation, conventions de nommage et architecture en couches. Orchestration : DAGs Airflow, planification, gestion des dépendances, alerting et conduite d’incidents. Qualité & gouvernance : validation en pipeline, traçabilité via dbt, mesure de la disponibilité (SLA) et de la latence ; indicateurs tels que taux d’échec et temps moyen de reprise (MTTR) quand je les collecte.