Aller au contenu principal

Open source

🎉 ODCS v3.2.0 et ODPS v1.1.0 sont disponibles

Le projet Bitol, un projet Linux Foundation AI & Data, publie aujourd'hui deux nouvelles versions de ses standards ouverts en même temps : l'Open Data Contract Standard (ODCS) v3.2.0 et l'Open Data Product Standard (ODPS) v1.1.0. Les deux versions sont dédiées à la mémoire de notre ami et contributeur de longue date Peter Flook, dont le travail a façonné les standards Bitol, des tests de qualité de données à la validation de schémas, en passant par la documentation et l'intégration des éditeurs.

Le site de Bitol, qui héberge l'Open Data Contract Standard et l'Open Data Product Standard

Les deux versions ont été développées ensemble. Cinq RFC partagées définissent chaque fonctionnalité une seule fois et arrivent simultanément dans ODCS et ODPS. Un Data Contract et le produit de données qui l'expose décrivent ainsi le contexte, les synonymes, la dépréciation, les variables et l'attribution aux éditeurs de la même manière.

Les nouveautés d'ODCS v3.2.0

  • 🤖 Contexte pour les agents IA. Un nouveau bloc context sur le contrat et sur chaque schéma porte des instructions, des affirmations vérifiées et des contraintes : dites aux agents comment utiliser vos données, ce qui a été vérifié et ce qu'ils ne doivent jamais faire.
  • 🔢 Enums. Le très attendu enum restreint une propriété à un ensemble fixe de valeurs, chacune avec un libellé, une description et des tags optionnels.
  • 🧭 Vecteurs et maps. Un type logique vector décrit les embeddings avec leurs dimensions, leur type d'élément, leur métrique de distance et leur modèle d'embedding. Un type logique map décrit des structures clé/valeur avec des clés et des valeurs typées.
  • 📊 Mesures et dimensions. Un semanticType sur une propriété déclare son rôle de colonne, de mesure ou de dimension, sans quitter la structure de la propriété.
  • 🔤 Synonymes. Des noms alternatifs sur les schémas et les propriétés, avec locale et source, pour les catalogues de données et les outils LLM.
  • 🗄️ Dix nouveaux types de serveurs. Apache Iceberg via le catalogue REST, SAP HANA, Exasol, Teradata et les moteurs Actian Ingres, Vectorwise, Versant et Poet, ainsi qu'un workgroup pour Athena et un encodage de caractères pour les serveurs basés sur des fichiers.
  • ⚠️ Dépréciation. Un indicateur deprecated sur les objets de schéma et les propriétés retire des champs sans casser les consommateurs : ils restent documentés et validés.
  • 🔁 Variables. Les valeurs textuelles peuvent référencer ${VAR_NAME}, avec des valeurs par défaut de style POSIX, et sont résolues à l'exécution.
  • 🆔 Identifiants standardisés. Des champs id stables sur les relations achèvent le travail sur les identifiants dans toute la spécification, et les identifiants acceptent désormais les espaces de noms et les URN.
  • 🧩 Ajouts plus modestes. Des propriétés personnalisées et des définitions de référence sur les propriétés de SLA, et une attribution vendor sur les propriétés personnalisées.
La section Contexte d'un Data Contract ODCS v3.2.0 dans Entropy Data : instructions, affirmations vérifiées et contraintes pour les consommateurs et les agents IA
Le bloc context d'un Data Contract ODCS v3.2.0 dans Entropy Data : instructions, affirmations vérifiées et contraintes, pour les consommateurs comme pour les agents IA.
Un schéma de Data Contract dans Entropy Data avec une propriété vector et ses dimensions et son type d'élément, une propriété map avec sa clé et sa valeur, et des synonymes sur la table et sur une propriété
Les nouveaux types logiques dans la vue du schéma : un vector avec ses dimensions et son type d'élément, une map avec clé et valeur imbriquées, et des synonymes sur la table et sur une propriété.
La section Allowed Values d'une propriété dans le Data Contract Editor, listant les valeurs d'enum apparel, shoes et accessories avec leurs libellés et descriptions
Les enums dans le Data Contract Editor : chaque valeur autorisée avec son libellé et sa description, écrite dans le nouveau champ enum de la propriété.

Les nouveautés d'ODPS v1.1.0

  • 🏷️ Type de produit de données. Un type de premier niveau classe un produit de données, par exemple comme source-aligned, aggregate ou consumer-aligned.
  • 🤖 Contexte et synonymes. Le même bloc context et les mêmes synonyms que dans ODCS, sur le produit de données et sur chaque Output Port.
  • ⚠️ Dépréciation. Un indicateur deprecated sur le produit de données et sur les Input Ports, Output Ports et ports de gestion.
  • 🆔 Identifiants standardisés. Chaque objet de tableau peut porter un id stable. Les Input Ports et Output Ports n'exigent plus qu'un name ; la version et l'identifiant du contrat sont optionnels.
  • 🧩 Ajouts plus modestes. Tags, propriétés personnalisées et définitions de référence sur les entrées SBOM, attribution aux éditeurs sur les propriétés personnalisées et interpolation de variables.
L'en-tête du produit de données Orders dans Entropy Data, étiqueté Data Product (Source-Aligned)
Le type de produit de données ODPS v1.1.0 dans l'en-tête d'un produit de données.
La section Contexte d'un produit de données dans Entropy Data avec des instructions et des affirmations vérifiées sous forme de requêtes SQL
Le contexte d'un produit de données : des instructions et des affirmations vérifiées, ici des requêtes SQL prêtes à l'emploi, reprises par Entropy Intelligence et les autres agents.

Prise en charge dès le premier jour dans Entropy Data

Nous avons contribué aux deux versions et veillé à ce que nos outils soient prêts dès le premier jour :

  • Entropy Data prend en charge les Data Contracts ODCS v3.2.0 et les produits de données ODPS v1.1.0.
  • La Data Contract CLI v1.2.0, publiée elle aussi aujourd'hui, valide, teste, importe et exporte les contrats ODCS v3.2.0, y compris les enums, les maps, les vecteurs, les types sémantiques, les synonymes, la dépréciation et le contexte. datacontract init écrit désormais apiVersion: v3.2.0.
  • Le Data Contract Editor valide et édite les contrats v3.2.0.
Le Data Contract Editor avec la section Contexte d'un Data Contract ODCS v3.2.0
Le Data Contract Editor édite le nouveau bloc context et valide le contrat par rapport au schéma ODCS v3.2.0.
La boîte de dialogue de migration dans le Data Contract Editor : un Data Contract ODCS v3.1.0 avec un bouton Migrate to v3.2.0 et une confirmation expliquant ce que la migration modifie
Migration d'un contrat existant : l'éditeur signale un contrat qui déclare encore v3.1.0, explique ce que la migration touche et passe apiVersion à v3.2.0 en un clic. Les nouvelles sections, comme Context, se débloquent dès que le contrat déclare la nouvelle version.

Merci à toutes les personnes de la communauté Bitol qui ont rédigé des RFC, relu des pull requests et testé les préversions. Les standards ouverts ne fonctionnent que lorsque beaucoup de personnes les construisent ensemble.

Pour commencer

Lisez les spécifications, passez vos contrats en apiVersion: v3.2.0 et dites-nous ce que vous construisez avec. Vous découvrez les Data Contracts ? Commencez par notre introduction à ODCS.

Spécification ODCS v3.2.0 Spécification ODPS v1.1.0