Série vidéo

Entropy Explains

Créé et raconté par le Dr. Simon Harrer

Co-Founder & CEO, Entropy Data

Entropy Explains est une série d'explications animées courtes sur les Data Contracts, les produits de données et la sémantique. Chaque épisode explique un concept en moins de trois minutes, avec des animations plutôt que des slides.

Voir la playlist sur YouTube

À venir

Bonnes pratiques des Data Contracts : répond à « Quelles sont les bonnes pratiques pour les Data Contracts ? » Un Data Contract par output port, schéma et rôle de lecture, dans le dépôt Git du Data Product, versionné comme une API et traité comme la source de vérité dès qu'il est actif.

Abonnez-vous à la playlist Entropy Explains pour recevoir les nouveaux épisodes.

Épisodes

Épisode 10 · 2:24

Data Contracts avec dbt

Répond à : « Comment utiliser les Data Contracts dans un projet dbt ? »

Si vous écrivez un Data Contract à la main à côté de votre modèle dbt, vous gardez deux copies du schéma, et elles divergent. Importez le premier contrat depuis le manifest dbt, puis laissez la Data Contract CLI le synchroniser dans votre projet sous forme de properties et de tests. En CI, une deuxième synchronisation ne doit rien changer, et dbt test rapporte les résultats dans les termes du contrat.

Regarder sur YouTube Lire les diapositives annotées

Épisode 9 · 2:56

Data Contracts et qualité des données

Répond à : « Comment définir, tester et mesurer la qualité des données ? »

Le chiffre d'affaires a doublé du jour au lendemain à cause de lignes en double, et personne n'avait écrit que les identifiants de commande doivent être uniques. Formulez les règles de qualité en langage clair avec le métier et les consommateurs de données, transformez-les en contrôles SQL et en métriques de bibliothèque avec l'IA, et placez-les dans le Data Contract avec les SLA. La Data Contract CLI les teste en CI et selon un planning, et un score de qualité par dimension montre où la qualité est faible.

Regarder sur YouTube Lire les diapositives annotées

Épisode 8 · 2:13

Ontologies de domaine

Répond à : « Comment modéliser une ontologie sur de nombreux domaines ? »

Une seule ontologie pour toute l'entreprise semble ordonnée, mais chaque changement demande l'accord de tous les domaines. Modélisez une ontologie par domaine, portée par l'équipe du domaine. Tant qu'ils sont peu nombreux, les domaines se relient directement ; quand ils sont nombreux, une petite ontologie centrale ne relie que les concepts partagés, et les agents IA la suivent d'un domaine à l'autre jusqu'aux Data Contracts liés.

Regarder sur YouTube Lire les diapositives annotées

Épisode 7 · 2:31

Comment arriver à votre ontologie

Répond à : « Comment construire une ontologie avec des agents IA ? »

Les métiers et les agents IA ont tous deux besoin d'une ontologie, et personne ne veut attendre des mois d'ateliers pour l'obtenir. Rassemblez ce que le métier sait déjà, laissez un agent esquisser concepts et relations sur une branche, et faites relire le diff dans le diagramme par les métiers, en quelques tours, avant le merge. Déjà en usage ? Le blast radius montre quels Data Contracts et responsables un changement touche.

Regarder sur YouTube Lire les diapositives annotées

Épisode 6 · 2:40

Data Contracts et CI/CD

Répond à : « Comment les Data Contracts s'intègrent-ils dans votre pipeline CI/CD ? »

Une colonne renommée, trois consommateurs cassés, et le Data Contract le savait. Gardez-le dans Git à côté du code du pipeline et vérifiez chaque pull request avec la Data Contract CLI : lint, vos propres règles, changements cassants et tests dans un environnement isolé. Après le merge, testez en staging et en production, puis publiez. Chaque nuit, le promise monitoring teste la production.

Regarder sur YouTube Lire les diapositives annotées

Épisode 5 · 1:56

Placez vos données sous contrat

Répond à : « Comment placer une table existante sous Data Contract ? »

Votre table tourne en production depuis des années, sans Data Contract. Importez-la avec la Data Contract CLI, testez-la tout de suite pour une base verte, et ajoutez ce que vous seul savez : une description, une classification, une règle de qualité, une promesse de fraîcheur et un responsable. Le data-first ne sert qu'une fois, ensuite le Data Contract guide.

Regarder sur YouTube Lire les diapositives annotées

Épisode 4 · 2:08

Construire des produits de données avec l'IA

Répond à : « Comment construire un produit de données avec l'IA ? »

Plus personne n'écrit de pipelines de données à la main. Un agent de code construit le produit de données en contract-first, à partir de trois entrées : un Data Contract comme le quoi, défini ensemble en atelier, des skills avec vos conventions comme le comment, et une marketplace de données comme les données sur lesquelles construire.

Regarder sur YouTube Lire les diapositives annotées

Épisode 3 · 2:18

Data Contracts et sémantique

Répond à : « Comment les agents IA savent-ils ce que signifient vos données ? »

Modélisez le sens une seule fois : une ontologie avec ses entités, propriétés et relations, capturée dans Apache Ossie. Reliez les colonnes de vos Data Contracts à ses concepts pour qu'elles héritent de la description et de la classification, et laissez les agents IA s'appuyer sur cet ancrage pour savoir comment joindre les données, et ce qu'il faut laisser de côté.

Regarder sur YouTube Lire les diapositives annotées

Épisode 2 · 2:38

Data Contracts et produits de données

Répond à : « Qu'est-ce qu'un produit de données, et quel est son lien avec les Data Contracts ? »

Un produit de données est bien plus que des données : données, code et métadonnées en une seule unité, détenue par une seule équipe. Comment il vit dans Git sous forme de fichier Open Data Product Standard (ODPS), est publié sur une marketplace de données et passe de v1 à v2 sans interruption.

Regarder sur YouTube Lire les diapositives annotées

Épisode 1 · 2:02

Data Contracts

Répond à : « Qu'est-ce qu'un Data Contract, et pourquoi en avez-vous besoin ? »

Pourquoi les Data Consumers cassent quand les données changent, ce que contient un Data Contract au format Open Data Contract Standard (ODCS), et comment le Data Contract Editor et la Data Contract CLI, tous deux open source, tiennent la promesse.

Regarder sur YouTube Lire les diapositives annotées

Entropy Explains

À venir

Épisodes

Pour aller plus loin