Talent.com
Cette offre d'emploi n'est pas disponible dans votre pays.
DATA ENGINEER SPARK / SCALA

DATA ENGINEER SPARK / SCALA

RED TICLuxembourg
Il y a 20 jours
Description de poste

MISSION :

  • Concevoir et développer des pipelines de traitement des données en utilisant Apache Spark et Scala .
  • Implémenter des solutions scalables et optimisées pour la gestion et l’exploitation des big data .
  • Travailler sur des architectures distribuées et optimiser les performances des traitements.
  • Assurer l’intégration des données provenant de différentes sources (SQL, NoSQL, fichiers, API, etc.).
  • Déployer et gérer les solutions dans un environnement cloud (AWS, GCP, Azure).
  • Collaborer avec les équipes Data Science, BI et DevOps pour mettre en place des solutions data-driven.
  • Implémenter des stratégies de monitoring et de gestion des erreurs pour garantir la fiabilité des traitements.
  • Participer aux choix technologiques et aux évolutions des architectures de données.

PROFIL RECHERCHÉ :

  • Diplôme en informatique, data engineering, ou équivalent .
  • Expérience de 3 ans minimum en développement de pipelines de données avec Spark et Scala .
  • Bonne connaissance des architectures distribuées et des bases de données big data (Hadoop, Hive, HBase, Cassandra).
  • Expérience avec les outils de workflow orchestration (Airflow, Luigi, etc.).
  • Maîtrise des bases de données relationnelles et NoSQL ( PostgreSQL, MongoDB, Elasticsearch ).
  • Expérience avec les services cloud data (AWS EMR, Databricks, GCP BigQuery, Azure Synapse).
  • Compétences en optimisation des performances et gestion des grandes volumétries de données .
  • Connaissance des méthodologies DevOps / CI-CD et des outils d’automatisation ( Docker, Kubernetes, Terraform ).

    • Compétences supplémentaires appréciées

  • Expérience avec Python, Java ou Kafka .
  • Connaissance des pratiques d’ingénierie des données et de gouvernance .
  • Familiarité avec les modèles de machine learning et leur mise en production.

    • Pourquoi nous rejoindre ?

  • Un environnement technique innovant et des projets stimulants.
  • Une équipe dynamique et une culture axée sur l’ excellence technique .
  • Des opportunités d’évolution et de formation continue .
  • Un cadre de travail favorisant la collaboration et l’innovation .

    • recruitment consulting management training sourcing job jobs offer internship morocco africa java développement developpement développeur developpeur informatique application it jee android consultant devops fullstack. D’abord. Tout d’abord. En premier lieu. Ensuite, de plus. Finalement. En outre. Par ailleurs. En dernier lieu. enfin. D’abord, En premier lieu, Pour commencer, Premièrement, En conclusions ur conclure, Enfn, Finalement, En dernier lieu, bien que. il y a aussi il est vrai que… mais. tout en reconnaissant que… on peut supposer que. Par exemple . En fait . Prenons le cas de. Considérons, par exemple. L’exemple le plus r. Cependant. Mais. Pourtant. Toutefois. Néanmoins. Contraste. Alors que. Tandis que. Par contre. En revanche SPARK / SCALA

    Créer une alerte emploi pour cette recherche

    Data Engineer • Luxembourg