DATA ENGINEER TALEND / DATABRICKS

• Freelance • Rabat • Publié il y a 1 mois RED TIC recrute pour l’un de ses partenaires un profil DATA ENGINEER TALEND / DATABRICKS. Mission Dans le cadre de nos activités Data Engineering, nous recherchons un profil capable de concevoir, développer et industrialiser des pipelines de données avec Talend et Databricks. La mission consiste également à participer à l’architecture et à la modélisation des données, à optimiser les traitements, à garantir la qualité et la sécurité des données et à assurer un rôle de référent technique auprès des équipes Data, Dev, Ops et métiers. Responsabilités principales • Conception et développement • Concevoir et développer des pipelines d’intégration de données avec Talend (Open Studio, Talend Cloud, TAC). • Développer des traitements distribués et optimisés dans Databricks (PySpark, SQL, Delta Lake). • Implémenter des workflows orchestrés avec Airflow, Talend Job Conductor ou Azure Data Factory selon le contexte. • Industrialiser les flux : gestion des erreurs, logs, reprise sur incident et monitoring. • Architecture et modélisation • Participer à la définition de l’architecture Data : zones Bronze/Silver/Gold, Delta Lake, Data Mesh si applicable. • Concevoir des modèles de données optimisés pour l’analytique et la performance. • Définir les bonnes pratiques de développement, de versioning, de CI/CD, de sécurité et de gouvernance. • Expertise et support avancé • Assurer un rôle de référent technique auprès des équipes Data, Dev, Ops et métiers. • Diagnostiquer et résoudre les incidents complexes : performance Spark, optimisation SQL, gestion des partitions, tuning Talend. • Accompagner les migrations, notamment Datastage vers Talend et ETL legacy vers Databricks. • Réaliser des revues de code, audits techniques et recommandations d’amélioration. • Qualité, performance et sécurité • Optimiser les traitements Spark : broadcast, partitionnement, caching et shuffle management. • Garantir la qualité des données : tests, validation, règles de gestion et Data Quality. • Appliquer les standards de sécurité : chiffrement, gestion des accès, secrets et conformité RGPD. • Coordination et communication • Collaborer avec les équipes projet, architectes, Product Owners et Data Engineers. • Rédiger la documentation technique, les guides de bonnes pratiques et les dossiers d’architecture. • Participer aux comités techniques, ateliers de cadrage et sessions de formation interne. Profil recherché Nous recherchons un profil disposant d’une solide expertise en Data Engineering, avec une maîtrise de Talend et Databricks/Spark. Compétences techniques requises Talend • Talend Open Studio, Talend Cloud, TAC. • Développement de jobs complexes : tMap, tFlowToIterate, tJava, tREST, tFileInput/Output. • Gestion des contextes, métadonnées, routines et optimisation des jobs. • Intégration avec des bases SQL/NoSQL, API, fichiers et message brokers. Databricks / Spark • PySpark, Spark SQL, Delta Lake. • Optimisation des jobs Spark : partitionnement, caching et shuffle tuning. • Notebooks, Jobs, Workflows et Repos. • Connaissance des environnements Azure, AWS ou GCP selon le contexte. Data Engineering • Modélisation dimensionnelle, Data Vault et Lakehouse. • CI/CD : Git, Azure DevOps, Jenkins, GitLab CI. • Orchestration : Airflow, ADF, Talend Job Conductor. • Monitoring et observabilité : logs, alerting et métadonnées. Environnements et outils • Bases de données : Oracle, SQL Server, PostgreSQL, Snowflake. • Cloud : Azure préféré, AWS ou GCP. • Langages : SQL, Python, Java (Talend), Bash. • Git, Docker, Terraform (un plus). recruitment consulting management training sourcing job jobs offer internship morocco africa java développement developpement développeur developpeur informatique application it jee android consultant devops fullstack. D’abord. Tout d’abord. En premier lieu. Ensuite, de plus. Finalement. En outre. Par ailleurs. En dernier lieu. enfin. D’abord, En premier lieu, Pour commencer, Premièrement, En conclusions ur conclure, Enfn, Finalement, En dernier lieu, bien que. il y a aussi il est vrai que… mais. tout en reconnaissant que… on peut supposer que. Par exemple . En fait . Prenons le cas de. Considérons, par exemple. L’exemple plus . Cependant. Mais. Pourtant. Toutefois. Néanmoins. Contraste. Alors que. Tandis que. Par contre. En revanche TALEND / DATABRICKS Nom et Prénom Adresse Email Mobile Niveau d étude Bac Bac +1 Bac +2 Bac +3 Bac +4 Bac +5 Bac + X Années d’Expérience 0 +1 +2 +3 +4 +5 +6 +7 +8 +9 + 10 Préavis Disponible immédiatement -1 mois 1 mois 2 mois +2 mois Message Upload CV Téléverser votre CV ou tout autre document relatif. Taille max: 2 MB. Consentement à la conservation des données J’accepte que mes données personnelles et mon CV soient collectés et conservés par RED TIC pour être recontacté(e) au sujet de cette offre ou d’autres opportunités correspondant à mon profil.