Maintenir et faire évoluer les pipelines de traitement de données orchestrés avec Apache Airflow.Concevoir et développer de nouveaux DAGs afin d'intégrer de nouvelles sources et de nouveaux traitements de données.Automatiser l'exécution de traitements dans le cloud en optimisant le provisioning des ressources de calcul.Participer à l'intégration de modèles d'IA générative (LLM) pour le nettoyage, le filtrage, la structuration et l'enrichissement des données.Contribuer au développement et à l'amélioration continue d'une plateforme interne d'évaluation et de visualisation des données.Garantir la fiabilité et la qualité des traitements de données.Optimiser les performances des pipelines et des traitements existants.Réduire les temps d'exécution et optimiser les coûts liés aux ressources Cloud.Documenter les pipelines, les traitements et les bonnes pratiques de développement.Participer à la veille technologique autour du Data Engineering, du Cloud et de l'Intelligence Artificielle.
Source : offre d'origine
L'École de Commerce de Lyon et l'EFCM accueillent des candidats déjà en recherche d'entreprise, avec un accompagnement personnalisé et des rentrées souples.
Découvrir les formations du groupe ECL →Inscrivez-vous gratuitement : CV optimisé, score de compatibilité avec chaque offre et alertes dès qu'une nouvelle offre correspond à votre profil.
100% gratuit, sans mot de passe. Accédez aux offres et à vos alertes personnalisées — et on vous aide à décrocher l'entreprise, pas seulement à postuler.
Léa