Data engineer h/f

Qui sommes-nous ?

Depuis près de 20 ans, agap2 acteur européen de conseil en ingénierie et des services numériques, accompagne le monde industriel dans la réalisation de ses projets les plus complexes et les plus innovants. Grâce à cette relation pérenne et suite aux besoins de nos partenaires de se faire accompagner sur leurs projets IT et digitaux, agap2IT est né. Agap2IT est donc une marque spécialisée dans les projets informatiques et digitaux du secteur industriel, des services et la finance. Votre mission

· Concevoir, développer et maintenir des pipelines de données robustes pour garantir l'accès fiable et performant aux données.

· Intégrer, transformer et charger des données issues de différentes sources (ETL/ELT).

· Construire et optimiser des architectures de données (data warehouses, data lakes) pour répondre aux besoins analytiques.

· Collaborer avec les data scientists et data analysts pour leur fournir les datasets nécessaires à leurs analyses et modèles.

· Mettre en oeuvre des solutions Big Data et gérer des volumes massifs de données.

· Assurer la qualité, la sécurité et la gouvernance des données.

· Automatiser les processus de collecte, transformation et gestion des données.

· Participer à la veille technologique et à l'amélioration continue des pratiques et outils utilisés.

Environnement technique

· Langages de programmation : Python, Java, Scala, SQL.

· Big Data : Hadoop, Spark, Kafka, Hive, Flink.

· Cloud : AWS (Glue, Redshift, S3, EMR), Azure (Data Factory, Synapse, Blob Storage), GCP (BigQuery, DataFlow).

· Bases de données : SQL Server, PostgreSQL, MongoDB, Cassandra, Snowflake.

· ETL/ELT : Talend, Informatica, Apache NiFi, dbt, Airflow.

· Outils DEVOPS : Docker, Kubernetes, Terraform, Jenkins, Git.

· Visualisation et BI : Power BI, Tableau.

Le plus :

· Connaissances approfondies en gestion de bases de données relationnelles et NoSQL.

· Expertise en optimisation des performances des systèmes de données.

· Connaissances des frameworks de traitement distribué (Spark, Flink).

· Certifications cloud (AWS, Azure, GCP) appréciées.

Rassurez-vous, pas besoin de tout connaitre ! Un accompagnement et des formations sont là pour vous permettre de vous amuser avec toutes ces technologies.