Data mesh : définition et principes
Le data mesh est une approche d'organisation des données qui confie leur responsabilité aux domaines métier qui les produisent, plutôt qu'à une équipe data centrale. Chaque domaine publie ses données sous forme de produits documentés, que les autres consomment par une plateforme commune. L'approche a été formulée par Zhamak Dehghani dans un article paru en mai 2019 sur le site de Martin Fowler.
Les quatre principes
Le premier principe est la propriété par domaine : la finance, les ventes ou la logistique répondent chacune des données qu'elles produisent. Le deuxième fait de chaque jeu de données un produit, avec un responsable, une documentation, des niveaux de qualité et un point d'accès stable. Le troisième est une plateforme en libre-service, qui fournit aux domaines les outils de stockage, de traitement et de publication.
Le quatrième, la gouvernance fédérée et automatisée, fixe les règles communes (identifiants partagés, sécurité, interopérabilité) et les applique par le code de la plateforme. L'article de 2019 posait les trois premiers ; Zhamak Dehghani a ajouté le quatrième en décembre 2020, puis développé l'ensemble dans un livre paru en 2022.
Ce que l'approche demande
Le data mesh répond à une difficulté d'échelle : une équipe centrale qui alimente tous les métiers devient un goulet d'étranglement, et les données perdent leur sens en s'éloignant de ceux qui les produisent. L'approche demande en retour des domaines dotés de compétences data, une plateforme mature et une gouvernance acceptée par tous. Elle convient aux organisations où de nombreux domaines produisent des données ; une entreprise plus petite obtient souvent l'essentiel avec une équipe centrale bien organisée.
Qui le porte
Le chief data officer décide de l'adopter et conduit le changement d'organisation : répartition des responsabilités, financement des équipes de domaine, instance de gouvernance fédérée. Le data architect dessine la plateforme en libre-service et les standards d'interopérabilité. Le data engineer change de position : il rejoint un domaine, où il construit et maintient ses produits de données, ou l'équipe plateforme, qui outille tous les autres.
Les métiers
Les métiers qui s'en occupent.
- Data, BI & PlateformesData Architect
85 k€ à 180 k€ et plus brut annuel
- Gouvernance & Référentiels Data (MDM)Chief Data Officer
70 k€ à 200 k€ et plus brut annuel
- Data, BI & PlateformesData Engineer
42 k€ à 130 k€ et plus brut annuel
Questions fréquentes
Data mesh : vos questions.
- Qu'est-ce qu'un data product ?
- Un data product, ou produit de données, est un jeu de données publié par un domaine pour être utilisé par d'autres, avec les garanties d'un produit : un propriétaire identifié, une description, un schéma stable, des indicateurs de qualité et de fraîcheur, des conditions d'accès. Pour une direction financière, le grand livre mensuel par entité, documenté et mis à jour à chaque clôture, peut constituer un data product consommé par le contrôle de gestion et la data science.
- Quelle différence entre data mesh et data fabric ?
- Le data mesh est d'abord une organisation : il répartit la responsabilité des données entre les domaines métier. La data fabric est d'abord une architecture technique : une couche d'intégration qui relie les sources dispersées et s'appuie sur les métadonnées pour automatiser l'accès, la qualité et la sécurité. Les deux se combinent : une data fabric peut servir de plateforme en libre-service à une organisation en data mesh.
- Le data mesh remplace-t-il le data lake ?
- Le data mesh porte sur l'organisation et la responsabilité, le data lake sur le stockage : les deux se situent à des niveaux différents. Un domaine peut publier ses produits de données dans un lac, un entrepôt ou un lakehouse, du moment qu'il respecte les standards communs. L'article fondateur critiquait le lac centralisé géré par une seule équipe, et proposait d'en répartir la propriété entre les domaines.
Dans le lexique : Data lake, Data catalog, Data governance (gouvernance des données).
À propos de l'auteur
Co-fondateur d'Entourage Recrutement
Douze années de recrutement sur les métiers de l'IT ont mené Helder à co-fonder Entourage Recrutement. Il y pilote les missions freelance et le management de transition, de l'ingénierie logicielle aux directions des systèmes d'information.
Vous recrutez sur ces sujets ?
Décrivez le poste et son périmètre. Un consultant Tech vous recontacte sous 24 heures ouvrées pour cadrer la recherche avec vous.