DATA ENGINEER TALEND / DATABRICKS

• Freelance
• Rabat
• Publié il y a 8 secondes

Mission

Dans le cadre de nos activités Data Engineering, nous recherchons un profil capable de concevoir, développer et industrialiser des pipelines de données avec Talend et Databricks.

La mission consiste également à participer à l’architecture et à la modélisation des données, à optimiser les traitements, à garantir la qualité et la sécurité des données et à assurer un rôle de référent technique auprès des équipes Data, Dev, Ops et métiers.

Responsabilités principales

• Conception et développement
• Concevoir et développer des pipelines d’intégration de données avec Talend (Open Studio, Talend Cloud, TAC).
• Développer des traitements distribués et optimisés dans Databricks (PySpark, SQL, Delta Lake).
• Implémenter des workflows orchestrés avec Airflow, Talend Job Conductor ou Azure Data Factory selon le contexte.
• Industrialiser les flux : gestion des erreurs, logs, reprise sur incident et monitoring.
• Architecture et modélisation
• Participer à la définition de l’architecture Data : zones Bronze/Silver/Gold, Delta Lake, Data Mesh si applicable.
• Concevoir des modèles de données optimisés pour l’analytique et la performance.
• Définir les bonnes pratiques de développement, de versioning, de CI/CD, de sécurité et de gouvernance.
• Expertise et support avancé
• Assurer un rôle de référent technique auprès des équipes Data, Dev, Ops et métiers.
• Diagnostiquer et résoudre les incidents complexes : performance Spark, optimisation SQL, gestion des partitions, tuning Talend.
• Accompagner les migrations, notamment Datastage vers Talend et ETL legacy vers Databricks.
• Réaliser des revues de code, audits techniques et recommandations d’amélioration.
• Qualité, performance et sécurité
• Optimiser les traitements Spark : broadcast, partitionnement, caching et shuffle management.
• Garantir la qualité des données : tests, validation, règles de gestion et Data Quality.
• Appliquer les standards de sécurité : chiffrement, gestion des accès, secrets et conformité RGPD.
• Coordination et communication
• Collaborer avec les équipes projet, architectes, Product Owners et Data Engineers.
• Rédiger la documentation technique, les guides de bonnes pratiques et les dossiers d’architecture.
• Participer aux comités techniques, ateliers de cadrage et sessions de formation interne.

Profil recherché

Nous recherchons un profil disposant d’une solide expertise en Data Engineering, avec une maîtrise de Talend et Databricks/Spark.

Compétences techniques requises

Talend

• Talend Open Studio, Talend Cloud, TAC.
• Développement de jobs complexes : tMap, tFlowToIterate, tJava, tREST, tFileInput/Output.
• Gestion des contextes, métadonnées, routines et optimisation des jobs.
• Intégration avec des bases SQL/NoSQL, API, fichiers et message brokers.

Databricks / Spark

• PySpark, Spark SQL, Delta Lake.
• Optimisation des jobs Spark : partitionnement, caching et shuffle tuning.
• Notebooks, Jobs, Workflows et Repos.
• Connaissance des environnements Azure, AWS ou GCP selon le contexte.

Data Engineering

• Modélisation dimensionnelle, Data Vault et Lakehouse.
• CI/CD : Git, Azure DevOps, Jenkins, GitLab CI.
• Orchestration : Airflow, ADF, Talend Job Conductor.
• Monitoring et observabilité : logs, alerting et métadonnées.

Environnements et outils

• Bases de données : Oracle, SQL Server, PostgreSQL, Snowflake.
• Cloud : Azure préféré, AWS ou GCP.
• Langages : SQL, Python, Java (Talend), Bash.
• Git, Docker, Terraform (un plus).

Nom et Prénom

Adresse Email

Mobile

Niveau d étude

Bac Bac +1 Bac +2 Bac +3 Bac +4 Bac +5 Bac + X

Années d’Expérience

0 +1 +2 +3 +4 +5 +6 +7 +8 +9 + 10

Préavis

Disponible immédiatement -1 mois 1 mois 2 mois +2 mois

Message

Upload CV

Téléverser votre CV ou tout autre document relatif. Taille max: 2 MB.

Consentement à la conservation des données

J’accepte que mes données personnelles et mon CV soient collectés et conservés par RED TIC pour être recontacté(e) au sujet de cette offre ou d’autres opportunités correspondant à mon profil.