Saltar al contenido principal

Open Source

🎉 ODCS v3.2.0 y ODPS v1.1.0 ya están disponibles

El proyecto Bitol, un proyecto de Linux Foundation AI & Data, ha publicado hoy dos nuevas versiones de sus estándares abiertos a la vez: el Open Data Contract Standard (ODCS) v3.2.0 y el Open Data Product Standard (ODPS) v1.1.0. Ambas versiones están dedicadas a la memoria de nuestro amigo y colaborador de largo recorrido Peter Flook, cuyo trabajo dio forma a los estándares de Bitol, desde los tests de calidad de datos hasta la validación de esquemas, la documentación y la incorporación de proveedores.

El sitio web de Bitol, hogar del Open Data Contract Standard y del Open Data Product Standard

Las dos versiones se desarrollaron juntas. Cinco RFC compartidas definen cada funcionalidad una sola vez y llegan a ODCS y ODPS al mismo tiempo. Así, un Data Contract y el producto de datos que lo expone describen el contexto, los sinónimos, la deprecación, las variables y la atribución a proveedores de la misma manera.

Novedades de ODCS v3.2.0

  • 🤖 Contexto para agentes de IA. Un nuevo bloque context en el contrato y en cada esquema contiene instrucciones, afirmaciones verificadas y restricciones: dile a los agentes cómo usar tus datos, qué se ha verificado y qué no deben hacer nunca.
  • 🔢 Enums. El esperado enum limita una propiedad a un conjunto fijo de valores, cada uno con etiqueta, descripción y tags opcionales.
  • 🧭 Vectores y maps. Un tipo lógico vector describe embeddings con sus dimensiones, tipo de elemento, métrica de distancia y modelo de embedding. Un tipo lógico map describe estructuras clave/valor con claves y valores tipados.
  • 📊 Medidas y dimensiones. Un semanticType en una propiedad declara su rol como columna, medida o dimensión, sin salir de la estructura de la propiedad.
  • 🔤 Sinónimos. Nombres alternativos en esquemas y propiedades, con locale y origen, para catálogos de datos y herramientas LLM.
  • 🗄️ Diez nuevos tipos de servidor. Apache Iceberg mediante el catálogo REST, SAP HANA, Exasol, Teradata y los motores de Actian Ingres, Vectorwise, Versant y Poet, además de un workgroup para Athena y una codificación de caracteres para servidores basados en archivos.
  • ⚠️ Deprecación. Un indicador deprecated en objetos de esquema y propiedades retira campos sin romper a los consumidores: siguen documentados y validados.
  • 🔁 Variables. Los valores de texto pueden referenciar ${VAR_NAME}, con valores por defecto al estilo POSIX, y se resuelven en tiempo de ejecución.
  • 🆔 Identificadores estandarizados. Campos id estables en las relaciones completan el trabajo sobre identificadores en toda la especificación, y los identificadores ahora admiten espacios de nombres y URN.
  • 🧩 Adiciones menores. Propiedades personalizadas y definiciones de referencia en las propiedades de SLA, y una atribución vendor en las propiedades personalizadas.
La sección Contexto de un Data Contract ODCS v3.2.0 en Entropy Data: instrucciones, afirmaciones verificadas y restricciones para consumidores y agentes de IA
El bloque context de un Data Contract ODCS v3.2.0 en Entropy Data: instrucciones, afirmaciones verificadas y restricciones, tanto para consumidores como para agentes de IA.
Un esquema de Data Contract en Entropy Data con una propiedad vector con sus dimensiones y tipo de elemento, una propiedad map con su clave y su valor, y sinónimos en la tabla y en una propiedad
Los nuevos tipos lógicos en la vista del esquema: un vector con sus dimensiones y tipo de elemento, un map con clave y valor anidados, y sinónimos en la tabla y en una propiedad.
La sección Allowed Values de una propiedad en el Data Contract Editor, con los valores de enum apparel, shoes y accessories junto a sus etiquetas y descripciones
Enums en el Data Contract Editor: cada valor permitido con su etiqueta y descripción, guardado en el nuevo campo enum de la propiedad.

Novedades de ODPS v1.1.0

  • 🏷️ Tipo de producto de datos. Un type de primer nivel clasifica un producto de datos, por ejemplo como source-aligned, aggregate o consumer-aligned.
  • 🤖 Contexto y sinónimos. El mismo bloque context y los mismos synonyms que en ODCS, en el producto de datos y en cada Output Port.
  • ⚠️ Deprecación. Un indicador deprecated en el producto de datos y en los Input Ports, Output Ports y puertos de gestión.
  • 🆔 Identificadores estandarizados. Cada objeto de array puede llevar un id estable. Los Input Ports y Output Ports ahora solo requieren un name; la versión y el identificador del contrato son opcionales.
  • 🧩 Adiciones menores. Tags, propiedades personalizadas y definiciones de referencia en las entradas SBOM, atribución a proveedores en las propiedades personalizadas e interpolación de variables.
La cabecera del producto de datos Orders en Entropy Data, etiquetado como Data Product (Source-Aligned)
El tipo de producto de datos de ODPS v1.1.0 en la cabecera de un producto de datos.
La sección Contexto de un producto de datos en Entropy Data con instrucciones y afirmaciones verificadas en forma de consultas SQL
El contexto de un producto de datos: instrucciones y afirmaciones verificadas, aquí consultas SQL listas para ejecutar, que Entropy Intelligence y otros agentes recogen.

Soporte desde el primer día en Entropy Data

Hemos contribuido a ambas versiones y nos hemos asegurado de que nuestras herramientas estén listas desde el primer día:

  • Entropy Data soporta Data Contracts ODCS v3.2.0 y productos de datos ODPS v1.1.0.
  • La Data Contract CLI v1.2.0, publicada también hoy, valida, testea, importa y exporta contratos ODCS v3.2.0, incluidos enums, maps, vectores, tipos semánticos, sinónimos, deprecación y contexto. datacontract init ahora escribe apiVersion: v3.2.0.
  • El Data Contract Editor valida y edita contratos v3.2.0.
El Data Contract Editor con la sección Contexto de un Data Contract ODCS v3.2.0
El Data Contract Editor edita el nuevo bloque context y valida el contrato contra el esquema ODCS v3.2.0.
El diálogo de migración en el Data Contract Editor: un Data Contract ODCS v3.1.0 con el botón Migrate to v3.2.0 y una confirmación que explica qué cambia la migración
Migración de un contrato existente: el editor detecta un contrato que aún declara v3.1.0, explica qué toca la migración y establece apiVersion: v3.2.0 con un clic. Las nuevas secciones, como Context, se desbloquean en cuanto el contrato declara la nueva versión.

Gracias a todas las personas de la comunidad Bitol que escribieron RFC, revisaron pull requests y probaron las versiones preliminares. Los estándares abiertos solo funcionan cuando mucha gente los construye junta.

Empieza ahora

Lee las especificaciones, actualiza tus contratos a apiVersion: v3.2.0 y cuéntanos qué construyes con ellas. ¿Nuevo en Data Contracts? Empieza con nuestra introducción a ODCS.

Especificación ODCS v3.2.0 Especificación ODPS v1.1.0