Croissant: a metadata format for ML-ready datasets

希望复用现有数据集来训练机器学习（ML）模型的 ML 从业者，往往要花费大量时间去理解数据、弄清其组织方式，或者确定该用哪个子集作为特征。事实上，耗费的时间如此之多，以至于 ML 领域的进展被一个根本性障碍所拖累：数据表示形式五花八门。

ML 数据集涵盖广泛的内容类型，从文本和结构化数据到图像、音频和视频。即便是在内容类型相同的数据集中，每个数据集也都有其独特的、临时拼凑的文件与数据格式安排。这一挑战降低了整个 ML 开发流程的生产力，从查找数据到训练模型皆是如此。它还阻碍了人们急需的数据集处理工具的开发。

数据集已有一些通用目的的元数据格式，例如 schema.org 和 DCAT。然而，这些格式是为数据发现而设计的，而非针对 ML 数据的特定需求，例如从结构化和非结构化来源中提取并组合数据的能力、包含可支持数据负责任使用的元数据，或者描述诸如定义训练集、测试集和验证集之类的 ML 使用特征。

今天，我们推出 Croissant，一种面向 ML-ready 数据集的新元数据格式。Croissant 由来自产业界和学术界的社区协作开发，是 MLCommons 工作的一部分。Croissant 格式不改变实际数据的表示方式（例如图像或文本文件格式）——它提供了一种描述和组织数据的标准方式。Croissant 构建于 schema.org 之上，后者是 Web 上发布结构化数据的事实标准，已被超过 4000 万个数据集使用。Croissant 对其进行了增强，增加了面向 ML 的相关元数据、数据资源、数据组织和默认 ML 语义的综合层次。

此外，我们宣布获得主要工具和代码库的支持：今天，三个广泛使用的 ML 数据集集合——Kaggle、Hugging Face 和 OpenML——将开始为其托管的数据集支持 Croissant 格式；Dataset Search 工具让用户可以在 Web 上搜索 Croissant 数据集；包括 TensorFlow、PyTorch 和 JAX 在内的流行 ML 框架，可以使用 TensorFlow Datasets（TFDS）包轻松加载 Croissant 数据集。