Data Engineer Kafka / Confluent - Déploiement & Industrialisation @ Bordeaux - Freelance

Taux journalier (TJM): TJM selon profil (il s'agira d'un critère de sélection)

Localisation : Bordeaux (33) - Paris ou Lyon envisageables sous réserve d'une forte autonomie et de déplacements réguliers à Bordeaux
Durée : 12 mois fermes, avec possibilité de deux reconductions
Profil : Expert technique Kafka / Confluent - 3 à 7 ans d'expérience dans la famille de prestations concernée, avec références clients
Environnement : SI d'entreprise, Data Streaming, intégration et réplication de données

CONTEXTE ET ENJEUX

Dans le cadre d'un projet stratégique de modernisation de son système d'information, une grande organisation recherche un Expert Apache Kafka / Confluent pour accompagner la conception, le déploiement et l'industrialisation d'un nouveau socle d'échange de données d'entreprise.

Cette plateforme, reposant sur la technologie open source Apache Kafka et la distribution Confluent, a vocation à supporter différents cas d'usage d'échange, de réplication et d'intégration de données entre les composants du système d'information.

Le projet s'articule autour de deux grandes phases :

*

Phase 1 : Construction et mise en production d'un socle Kafka pilote pour alimenter une première plateforme Data.

*

Phase 2 : Extension du socle pilote vers une architecture cible plus capacitive, industrialisée et capable d'accueillir de nouveaux cas d'usage.

L'expert interviendra au sein de l'équipe projet, avec une forte implication sur les sujets d'architecture technique, d'intégration, de sécurité, d'automatisation, d'exploitation et de performance.

MISSIONS DÉTAILLÉES

1. CONSTRUCTION ET DÉPLOIEMENT DU SOCLE KAFKA PILOTE

Le premier objectif consiste à mettre en place une infrastructure Kafka / Confluent permettant d'alimenter un premier cas d'usage de type Plateforme Data.

Les données seront produites par différents socles techniques du système d'information :

*

SI de gestion reposant sur PostgreSQL.

*

Environnement Big Data Hadoop / Cloudera.

*

Système décisionnel utilisant IBM DataStage.

*

Plateforme de données Teradata.

Responsabilités :

*

Installer et configurer le cluster Apache Kafka / Confluent.

*

Définir et mettre en œuvre les normes et standards d'exploitation.

*

Installer et configurer les outils d'administration et d'exploitation.

*

Mettre en place les mécanismes de sécurité et de gestion des habilitations, en assurant leur intégration dans l'écosystème SI existant.

*

Optimiser les performances de la plateforme.

*

Construire et industrialiser les processus de fabrication et d'intégration des livrables.

*

Définir et implémenter les workflows d'intégration et de déploiement.

2. INTÉGRATION ET INDUSTRIALISATION DES CONNECTEURS KAFKA

L'expert prendra en charge l'installation, la configuration et l'industrialisation des connecteurs producteurs et consommateurs Kafka, standards ou spécifiques à la distribution Confluent.

Connecteurs et systèmes concernés :

*

PostgreSQL.

*

Hadoop / HDFS.

*

IBM DataStage.

*

Teradata.

*

Autres connecteurs nécessaires au périmètre du pilote.

Une attention particulière sera portée à l'industrialisation des connecteurs et à leur exploitation.

Travaux attendus :

*

Déclarer les nouveaux producteurs et consommateurs.

*

Gérer et maintenir les configurations des connecteurs.

*

Assurer l'initialisation et le rafraîchissement des données côté consommateurs.

*

Automatiser le déploiement des souscriptions.

*

Prendre en compte les évolutions des schémas de données au niveau des topics Kafka.

*

Automatiser les opérations techniques récurrentes.

*

Garantir la maintenabilité et l'exploitabilité des connecteurs déployés.

3. MISE EN PLACE DE L'EXPLOITATION ET DE LA SUPERVISION

L'expert contribuera à la définition et à la mise en œuvre de l'ensemble des procédures nécessaires à l'exploitation du socle Kafka.

Périmètre :

*