Data lake : définition et usages
Un data lake, ou lac de données, est un espace de stockage qui conserve de grands volumes de données dans leur format d'origine : tables extraites des applications, fichiers, journaux techniques, documents, images. Les données y prennent leur structure au moment de leur lecture, selon l'usage qu'on en fait. Le terme a été proposé en 2010 par James Dixon, alors directeur technique de l'éditeur Pentaho, par contraste avec le data mart.
Le principe du schema on read
Dans un entrepôt, la structure des tables est fixée avant le chargement : c'est le schema on write. Le data lake applique le schema on read : il accueille la donnée telle qu'elle arrive et laisse chaque usage lui donner sa forme. Cette souplesse sert l'exploration, la data science et l'archivage à moindre coût d'historiques volumineux ; elle suppose en contrepartie une documentation rigoureuse, faute de quoi le lac devient un marécage de données, le data swamp, où les fichiers s'accumulent et deviennent introuvables.
De Hadoop au lakehouse
Les premiers data lakes reposaient sur Hadoop et son système de fichiers distribué, installés dans les centres de données de l'entreprise. Le stockage objet des clouds, Amazon S3, Azure Data Lake Storage ou Google Cloud Storage, les a remplacés dans les projets récents. Des formats de tables ouverts, Delta Lake, Apache Iceberg et Apache Hudi, ajoutent au lac les transactions, l'historique des versions et la gestion des schémas : c'est l'architecture lakehouse, que portent notamment Databricks et Microsoft Fabric.
Qui le construit et l'utilise
Le data architect décide de l'organisation du lac, des formats retenus, des règles d'accès et des durées de conservation. Le data engineer y dépose les flux, les catalogue et construit les traitements qui préparent la donnée pour ses usages. Le data scientist y puise les historiques détaillés dont ses modèles ont besoin : journaux de transactions pour la détection de fraude, historiques de paiement pour prévoir les retards clients, données de capteurs pour la maintenance prédictive.
Les métiers
Les métiers qui s'en occupent.
- Data, BI & PlateformesData Architect
85 k€ à 180 k€ et plus brut annuel
- Data, BI & PlateformesData Engineer
42 k€ à 130 k€ et plus brut annuel
- Intelligence Artificielle & Machine LearningData Scientist
45 k€ à 140 k€ et plus brut annuel
Questions fréquentes
Data lake : vos questions.
- Quelle différence entre data lake et data warehouse ?
- Le data warehouse stocke des données structurées, nettoyées et modélisées pour répondre à des questions connues, avec des performances stables pour le reporting. Le data lake stocke tout type de données dans leur format brut, à moindre coût, pour des usages encore ouverts comme l'exploration ou l'apprentissage automatique. Les deux coexistent souvent : le lac reçoit les données, et l'entrepôt en reprend la part utile au pilotage.
- Qu'est-ce qu'une architecture médaillon ?
- L'architecture médaillon organise un data lake ou un lakehouse en trois couches, appelées bronze, argent et or. La couche bronze reçoit les données brutes telles qu'elles arrivent des sources ; la couche argent les nettoie, les dédoublonne et les harmonise ; la couche or présente des tables agrégées prêtes pour les tableaux de bord et les modèles. Popularisée par Databricks, elle donne un vocabulaire commun aux équipes qui se partagent le lac.
- Un data lake est-il compatible avec le RGPD ?
- Un data lake respecte le RGPD à condition que l'entreprise sache quelles données personnelles il contient, à quelle fin elles y sont conservées et pendant combien de temps. La difficulté tient à sa nature : des copies brutes s'y accumulent, parfois hors du champ du registre des traitements. Les équipes classent donc les données à leur arrivée, masquent ou pseudonymisent les champs sensibles et appliquent des durées de conservation par zone.
Dans le lexique : Data warehouse (entrepôt de données), Data mesh, Data governance (gouvernance des données).
À propos de l'auteur
Consultant Sourcing chez Entourage Recrutement
Sourceur depuis sept ans sur les métiers financiers et technologiques, Bruno approche les profils qui restent loin des annonces. Il intervient sur les mandats en CDI comme sur les missions freelance.
Vous recrutez sur ces sujets ?
Décrivez le poste et son périmètre. Un consultant Tech vous recontacte sous 24 heures ouvrées pour cadrer la recherche avec vous.