Senior Data Platform Engineer

Un peu sur le rôle ##

Nous recherchons un Senior Data Platform Engineer pour concevoir, construire et exploiter une plateforme de données évolutive, sécurisée et gouvernée, prenant en charge les charges de travail de sécurité, d'audit, opérationnelles et d'analyse.

Ce rôle est principalement axé sur l'ingénierie des données et le développement de plateformes de données, incluant l'architecture de données, les pipelines d'ingestion, la modélisation des données, les contrôles de qualité, la gouvernance et l'intégration avec les plateformes d'analyse et de sécurité. Le candidat retenu aura une solide expérience dans la conception et l'exploitation de plateformes de données, la construction de pipelines batch et streaming fiables, et la gestion de volumes importants de données structurées et semi-structurées.

Le rôle nécessite une collaboration étroite avec les équipes de sécurité, d'infrastructure et d'applications pour fournir des données de confiance et de haute qualité qui permettent la surveillance, le reporting, la détection des menaces, la conformité et les insights métier.

Vos tâches clés

Architecture de la Plateforme de Données

• Concevoir et faire évoluer des architectures de plateforme de données évolutives pour les données de sécurité, d'audit, opérationnelles et d'analyse
• Définir les stratégies de stockage de données, les schémas, les modèles de données, le partitionnement, la rétention et les approches de gestion du cycle de vie
• Évaluer et prototyper de nouvelles technologies et architectures pour améliorer l'évolutivité, la performance et l'efficacité des coûts

Ingénierie des Données & Pipelines

• Concevoir, construire et maintenir des pipelines de données batch et streaming
• Développer des frameworks d'ingestion robustes pour les logs, les données d'audit, les événements d'application, la télémétrie de sécurité et les ensembles de données opérationnelles
• Implémenter des processus de transformation, d'enrichissement, de normalisation, de corrélation et d'agrégation de données
• Garantir que les pipelines sont fiables, évolutifs, observables et résilients

Modélisation & Stockage des Données

• Concevoir des modèles de données relationnels, analytiques et basés sur les événements
• Optimiser les structures de base de données, la performance des requêtes, l'indexation et l'efficacité du stockage
• Soutenir la mise en œuvre des concepts de data lake, warehouse et lakehouse lorsque cela est approprié

Qualité & Gouvernance des Données

• Définir et implémenter des contrôles de qualité des données à travers les couches d'ingestion et de transformation
• Développer des vérifications de validation, de réconciliation, de déduplication et de complétude
• Soutenir le lignage des données (data lineage), la gestion des métadonnées, la propriété, la rétention, l'auditabilité et les exigences réglementaires
• Implémenter des contrôles pour les données sensibles et réglementées

Intégration de la Plateforme & Facilitation de l'Analyse

• Intégrer des données provenant de diverses plateformes internes et externes, applications, bases de données, APIs et systèmes de messagerie
• Fournir des ensembles de données curatés qui soutiennent le reporting, l'analyse, l'observabilité, la conformité et les opérations de sécurité
• Soutenir l'intégration avec les plateformes SIEM, de monitoring et de business intelligence
• Collaborer avec les équipes d'analyse et de reporting pour améliorer l'accessibilité et l'utilisabilité des données

Ingénierie & Automatisation

• Développer des services d'ingénierie de données, des outils et de l'automatisation en utilisant Python et SQL
• Contribuer aux pratiques CI/CD pour les composants de la plateforme de données
• Soutenir l'automatisation de l'infrastructure si nécessaire, en utilisant Terraform et les outils connexes
• Maintenir les standards d'ingénierie, la documentation et les procédures opérationnelles

Un peu sur vous ##

• 8+ ans d'expérience en Data Engineering, Data Platform Engineering, Database Engineering, ou un domaine connexe
• Solide expertise SQL, incluant la conception de schémas, la modélisation de données, l'optimisation de requêtes, l'indexation et le réglage des performances
• Expérience dans la conception et l'exploitation de pipelines de données batch et/ou streaming de qualité production
• Expérience avec les plateformes de données à grande échelle et les architectures de données analytiques
• Grande maîtrise de Python et SQL
• Expérience de l'intégration de données provenant de multiples sources, plateformes, APIs et flux d'événements
• Bonne compréhension de la qualité des données, de l'évolution des schémas, du lignage, de la gouvernance et de la gestion du cycle de vie
• Expérience avec les bases de données relationnelles et les technologies de stockage analytique
• Familiarité avec les concepts CI/CD et les pratiques de développement basées sur Git
• Fortes capacités d'analyse, de résolution de problèmes et de dépannage
• Expérience de travail avec des données sensibles, liées à la sécurité ou réglementées

Qualifications Préférées

• Expérience avec Kafka ou d'autres technologies de streaming et de messagerie
• Administration pratique et développement de requêtes de recherche avec Splunk (SPL) ou des stacks SIEM/observabilité alternatives (Elasticsearch/Logstash/Kibana, Datadog)
• Expérience avec les technologies modernes de plateforme de données telles qu'Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark ou Parquet
• Expérience avec les architectures de data lakehouse
• Expérience dans l'implémentation de frameworks de qualité de données et de contrôles de gouvernance des données
• Familiarité avec les solutions de catalogage de données, de lignage et de gestion des métadonnées
• Expérience dans l'intégration de plateformes de données avec des outils d'analyse tels qu'Apache Superset, Power BI, Tableau ou Metabase
• Expérience dans la banque, la fintech, la cybersécurité ou d'autres industries réglementées
• C