Subir conjuntos de datos

El Hub alberga una extensa colección de datasets curados por la comunidad y de investigación. Te animamos a compartir tu dataset en el Hub para ayudar a hacer crecer la comunidad de ML y acelerar el progreso de todos. ¡Se aceptan todas las contribuciones; añadir un dataset es tan fácil como arrastrar y soltar!

Comienza creando una cuenta en Hugging Face Hub si aún no tienes una.

Subir usando la interfaz de usuario de Hub

La interfaz web del Hub permite a los usuarios sin experiencia en desarrollo subir un conjunto de datos.

Crear un repositorio

Un repositorio aloja todos los archivos de tu conjunto de datos, incluido el historial de revisiones, lo que permite almacenar más de una versión del conjunto de datos.

1. Haz clic en tu perfil y selecciona New Dataset para crear un nuevo repositorio de datos.
2. Elige un nombre para tu conjunto de datos y selecciona si es un conjunto de datos público o privado. Un conjunto de datos público es visible para cualquiera, mientras que un conjunto de datos privado solo puede ser visto por ti o por los miembros de tu organización.

Subir dataset

1. Una vez que hayas creado un repositorio, ve a la pestaña Files and versions para añadir un archivo. Selecciona Add file para subir los archivos de tu conjunto de datos. Admitimos muchas extensiones de datos de texto, audio, imagen y otros, como .csv, .mp3 y .jpg (consulta la lista completa de File formats).

2. Arrastra y suelta los archivos de tu conjunto de datos.

3. Después de subir los archivos de tu conjunto de datos, se almacenan en tu repositorio de conjuntos de datos.

Crear una tarjeta de Dataset

Agregar una tarjeta de dataset es de gran valor para ayudar a los usuarios a encontrar tu dataset y comprender cómo usarlo de manera responsable.

1. Haz clic en Create Dataset Card para crear una Dataset card. Este botón crea un archivo README.md en tu repositorio.

2. En la parte superior verás la Metadata UI con varios campos para seleccionar, como la licencia, el idioma y las categorías de tareas. Estas son las etiquetas más importantes para ayudar a los usuarios a descubrir tu conjunto de datos en el Hub (cuando sea aplicable). Cuando seleccionas una opción para un campo, se añade automáticamente a la parte superior de la tarjeta del conjunto de datos.

   También puedes consultar las especificaciones de la tarjeta de dataset, que incluyen un conjunto completo de etiquetas permitidas, incluidas las opcionales como annotations_creators, para ayudarte a elegir las que sean útiles para tu dataset.

3. Escribe la documentación de tu conjunto de datos en la Dataset Card para presentarlo a la comunidad y ayudar a los usuarios a comprender su contenido: cuáles son los casos de uso y las limitaciones, de dónde proviene los datos, cuáles son las consideraciones éticas importantes y cualquier otro detalle relevante.

   Puedes hacer clic en el enlace Import dataset card template en la parte superior del editor para crear automáticamente una plantilla de tarjeta de dataset. Para un ejemplo detallado de cómo debería ser una buena tarjeta de dataset, echa un vistazo a la CNN DailyMail Dataset card.

Usando la biblioteca de clientes huggingface_hub

El conjunto de funciones de la biblioteca huggingface_hub te permite gestionar repositorios, incluida la creación de repos y la carga de conjuntos de datos en el Hub. Consulta la documentación de la biblioteca de cliente para obtener más información.

Uso de otras bibliotecas

Algunas bibliotecas como 🤗 Datasets, Pandas, Polars, Dask, DuckDB o Daft pueden subir archivos al Hub. Consulta la lista de Libraries supported by the Datasets Hub para obtener más información.

Uso de Git

Dado que los repositorios de conjuntos de datos son repositorios Git, puedes usar Git para enviar tus archivos de datos al Hub. Sigue la guía de Getting Started with Repositories para aprender a usar la CLI de git para confirmar y enviar tus conjuntos de datos.

Incorporar conjuntos de datos

Si tienes datos en bases de datos, almacenamiento en la nube o detrás de APIs, puedes ingerirlos en Hugging Face como datasets listos para usar.

Encuentra más información en la documentación sobre la ingesta de conjuntos de datos.

Formatos de archivo

El Hub admite de forma nativa varios formatos de archivo:

• Parquet (.parquet)
• CSV (.csv, .tsv)
• JSON Lines, JSON (.jsonl, .json)
• Formatos de streaming e IPC de Arrow (.arrow)
• Texto (.txt)
• Imágenes (.png, .jpg, etc.)
• Audio (.wav, .mp3, etc.)
• Video (.mp4, .mov, .avi, etc.)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

Admite archivos comprimidos con ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) y LZMA (.xz).

Los archivos de imagen y audio también pueden tener archivos de metadatos adicionales. Consulte la Configuración de archivos de datos en los conjuntos de datos de imagen y audio, así como las colecciones de conjuntos de datos de ejemplo para CSV, TSV e imágenes.

Es posible que desee convertir sus archivos a estos formatos para aprovechar todas las funciones del Hub. Otros formatos y estructuras pueden no ser reconocidos por el Hub.

¿Qué formato de archivo debo usar?

Para la mayoría de los tipos de conjuntos de datos, Parquet es el formato recomendado debido a su compresión eficiente, su tipado rico y porque una variedad de herramientas admite este formato con operaciones de lectura y por lotes optimizadas. Alternativamente, se pueden usar CSV o JSON Lines/JSON para datos tabulares (se prefiere JSON Lines para datos anidados). Aunque son más fáciles de analizar que Parquet, estos formatos no se recomiendan para datos de varios GB o más. Para conjuntos de datos de imágenes y audio, la carga de archivos en bruto es lo más práctico para la mayoría de los casos de uso, ya que es fácil acceder a archivos individuales. Para el streaming de conjuntos de datos de imágenes y audio a gran escala, se debe preferir WebDataset sobre los archivos de imágenes y audio en bruto para evitar la sobrecarga de acceder a archivos individuales. Sin embargo, para casos de uso más generales que impliquen análisis, filtrado de datos o análisis de metadatos, Parquet es la opción recomendada para conjuntos de datos de imágenes y audio a gran escala.

Data Studio

El Data Studio es útil para saber cómo es realmente el dato antes de descargarlo. Está habilitado de forma predeterminada para todos los conjuntos de datos públicos. También está disponible para conjuntos de datos privados propiedad de un usuario PRO o de una organización de equipo o empresa.

Después de subir tu conjunto de datos, asegúrate de que el Dataset Viewer muestre correctamente tus datos, o Configura el Dataset Viewer.

Conjuntos de datos a gran escala

El Hugging Face Hub admite conjuntos de datos a gran escala, generalmente subidos en Parquet (p. ej., mediante push_to_hub() usando 🤗 Datasets) o en formato WebDataset.

Use upload_folder() o hf upload de la biblioteca huggingface_hub para subir carpetas grandes: dividen la carga en varios commits y se reanudan automáticamente si se interrumpe.

Vea cómo subir una carpeta grande, los consejos y trucos para subidas grandes y los límites y recomendaciones de almacenamiento del repositorio.

Update on GitHub