change de nom...
La nécessité d’un environnement on-premise a orienté le projet vers des technologies Open Source permettant de conserver la maîtrise totale du code, de l’architecture et des données.
La nécessité d’un environnement on-premise a orienté le projet vers des technologies Open Source permettant de conserver la maîtrise totale du code, de l’architecture et des données.
Un POC de 20 jours pour valider les choix techniques : Construction de l'environnement de développement, conception de l'architecture principale Data Lake + Data Warehouse PostgreSQL et développement et industrialisation d'un pipeline pilote avec dbt + Airflow, de la collecte jusqu'aux données métiers qualifiées.
Une poursuite en régie, à 20 jours par mois : Montée en charge de la nouvelle architecture en intégrant de nouveaux flux plus complexes, fiabilisation du pipeline via l’automatisation des tests en CI/CD et validation rigoureuse de la qualité des données de la nouvelle architecture pour ne pas impacter les utilisateurs finaux
Toutes ces solutions décrivent leurs processus sous forme de code et de fichiers texte. Les flux et les transformations deviennent des composants modulaires, versionnés, testables et réutilisables, ce qui simplifie leur maintenance et leur évolution.
Toutes ces solutions décrivent leurs processus sous forme de code et de fichiers texte. Les flux et les transformations deviennent des composants modulaires, versionnés, testables et réutilisables, ce qui simplifie leur maintenance et leur évolution.
Apache Airflow est une plateforme Open Source reconnue pour l’orchestration de flux de travail. Elle permet de planifier, d’exécuter et de superviser des tâches au sein de pipelines décrits sous forme de code, avec une vue d’ensemble sur leur état.
Apache Airflow orchestre l’exécution des traitements et permet de standardiser l’organisation des différents pipelines.
Une structure commune peut être déclinée en différentes fréquences, règles métier ou stratégies de retry. Airflow offre aussi une visibilité globale sur l’état du système et a déjà démontré sa capacité à gérer plusieurs milliers de flux simultanément.
Apache Airflow est une plateforme Open Source reconnue pour l’orchestration de flux de travail. Elle permet de planifier, d’exécuter et de superviser des tâches au sein de pipelines décrits sous forme de code, avec une vue d’ensemble sur leur état.
Apache Airflow orchestre l’exécution des traitements et permet de standardiser l’organisation des différents pipelines.
Une structure commune peut être déclinée en différentes fréquences, règles métier ou stratégies de retry. Airflow offre aussi une visibilité globale sur l’état du système et a déjà démontré sa capacité à gérer plusieurs milliers de flux simultanément.
dbt est un outil Open Source de transformation de données, centré sur les développeurs et sur l’approche « Data as Code ». Il permet de modéliser les données, de les tester, de les versionner et de générer leur documentation.
Dans ce projet, les données suivent plusieurs niveaux de transformation :
Sources → Inbound → Staging → Datamart, correspondant à une architecture en médaillon. Les données sont progressivement transférées, contrôlées, transformées, puis mises à disposition des métiers.
Ces logiques sont validées par des tests unitaires et d’intégration automatisés.
dbt est un outil Open Source de transformation de données, centré sur les développeurs et sur l’approche « Data as Code ». Il permet de modéliser les données, de les tester, de les versionner et de générer leur documentation.
Dans ce projet, les données suivent plusieurs niveaux de transformation :
Sources → Inbound → Staging → Datamart, correspondant à une architecture en médaillon. Les données sont progressivement transférées, contrôlées, transformées, puis mises à disposition des métiers.
Ces logiques sont validées par des tests unitaires et d’intégration automatisés.
Les champs marqués d'un astéristique (*) sont obligatoires
