Carregando conjuntos de dados

O Hub abriga uma extensa coleção de datasets curados pela comunidade e de pesquisa. Incentivamos você a compartilhar seu dataset no Hub para ajudar a expandir a comunidade de ML e acelerar o progresso de todos. Todas as contribuições são bem-vindas; adicionar um dataset é apenas um arrastar e soltar!

Comece criando uma conta no Hugging Face Hub, caso ainda não tenha uma.

Upload usando a interface do Hub

A interface baseada na web do Hub permite que usuários sem qualquer experiência em desenvolvimento façam o upload de um conjunto de dados.

Criar um repositório

Um repositório hospeda todos os arquivos do seu dataset, incluindo o histórico de revisões, o que torna possível armazenar mais de uma versão do dataset.

1. Clique no seu perfil e selecione New Dataset para criar um novo repositório de dataset.
2. Escolha um nome para o seu conjunto de dados e defina se ele será público ou privado. Um conjunto de dados público é visível para qualquer pessoa, enquanto um conjunto de dados privado pode ser visualizado apenas por você ou pelos membros da sua organização.

Enviar conjunto de dados

1. Depois de criar um repositório, navegue até a aba Arquivos e versões para adicionar um arquivo. Selecione Adicionar arquivo para enviar os arquivos do seu conjunto de dados. Suportamos muitas extensões de dados de texto, áudio, imagem e outros, como .csv, .mp3 e .jpg (veja a lista completa de Formatos de arquivo).

2. Arraste e solte os arquivos do seu conjunto de dados.

3. Após enviar os arquivos do seu conjunto de dados, eles são armazenados no repositório do seu conjunto de dados.

Criar um cartão de Dataset

Adicionar um card de dataset é extremamente valioso para ajudar os usuários a encontrar seu dataset e entender como usá-lo de forma responsável.

1. Clique em Criar cartão de dataset para criar um cartão de dataset. Este botão cria um arquivo README.md no seu repositório.

2. No topo, você verá a Metadata UI com vários campos para seleção, como licença, idioma e categorias de tarefa. Essas são as tags mais importantes para ajudar os usuários a descobrirem seu dataset no Hub (quando aplicável). Quando você seleciona uma opção para um campo, ela é adicionada automaticamente ao topo do cartão do dataset.

   Você também pode consultar as especificações do Dataset Card, que contêm um conjunto completo de tags permitidas, incluindo opcionais como annotations_creators, para ajudá-lo a escolher as que são úteis para o seu dataset.

3. Escreva a documentação do seu conjunto de dados no Dataset Card para apresentá-lo à comunidade e ajudar os usuários a entender o que ele contém: quais são os casos de uso e as limitações, de onde vêm os dados, quais são as considerações éticas importantes e quaisquer outros detalhes relevantes.

   Você pode clicar no link Import dataset card template no topo do editor para criar automaticamente um modelo de cartão de dataset. Para um exemplo detalhado de como um bom cartão de Dataset deve ser, confira o CNN DailyMail Dataset card.

Usando a biblioteca de clientes huggingface_hub

O conjunto rico de recursos da biblioteca huggingface_hub permite gerenciar repositórios, incluindo a criação de repositórios e o upload de conjuntos de dados para o Hub. Consulte a documentação da biblioteca de cliente para saber mais.

Usando outras bibliotecas

Algumas bibliotecas, como 🤗 Datasets, Pandas, Polars, Dask, DuckDB ou Daft, podem enviar arquivos para o Hub. Consulte a lista de Libraries supported by the Datasets Hub para mais informações.

Usando Git

Como os repositórios de datasets são repositórios Git, você pode usar o Git para enviar seus arquivos de dados para o Hub. Siga o guia em Primeiros passos com repositórios para aprender a usar a CLI git para commitar e enviar seus datasets.

Ingerir conjuntos de dados

Se você tem dados em bancos de dados, armazenamento em nuvem ou atrás de APIs, pode ingeri-los no Hugging Face como datasets prontos para uso.

Encontre mais informações na documentação sobre ingestão de conjuntos de dados.

Formatos de arquivo

O Hub suporta nativamente vários formatos de arquivo:

• Parquet (.parquet)
• CSV (.csv, .tsv)
• JSON Lines, JSON (.jsonl, .json)
• Formatos de streaming e IPC do Arrow (.arrow)
• Texto (.txt)
• Imagens (.png, .jpg, etc.)
• Áudio (.wav, .mp3, etc.)
• Vídeo (.mp4, .mov, .avi, etc.)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

Ele suporta arquivos compactados usando ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) e LZMA (.xz).

Arquivos de imagem e áudio também podem ter arquivos de metadados adicionais. Consulte a Configuração dos arquivos de dados em conjuntos de dados de imagem e áudio, bem como as coleções de conjuntos de dados de exemplo para CSV, TSV e imagens.

Você pode querer converter seus arquivos para esses formatos para aproveitar todos os recursos do Hub. Outros formatos e estruturas podem não ser reconhecidos pelo Hub.

Qual formato de arquivo devo usar?

Para a maioria dos tipos de conjuntos de dados, o Parquet é o formato recomendado devido à sua compressão eficiente, tipagem rica e ao fato de uma variedade de ferramentas suportar esse formato com operações de leitura otimizadas e em lote. Alternativamente, CSV ou JSON Lines/JSON podem ser usados para dados tabulares (prefira JSON Lines para dados aninhados). Embora sejam mais fáceis de analisar em comparação com o Parquet, esses formatos não são recomendados para dados maiores que alguns GBs. Para conjuntos de dados de imagem e áudio, o upload de arquivos brutos é o mais prático para a maioria dos casos de uso, pois é fácil acessar arquivos individuais. Para streaming de conjuntos de dados de imagem e áudio em larga escala, o WebDataset deve ser preferido em relação a arquivos brutos de imagem e áudio para evitar o sobrecusto de acessar arquivos individuais. No entanto, para casos de uso mais gerais envolvendo análise, filtragem de dados ou análise de metadados, o Parquet é a opção recomendada para conjuntos de dados de imagem e áudio em larga escala.

Data Studio

O Data Studio é útil para saber como os dados realmente são antes de baixá-los. Ele é ativado por padrão para todos os conjuntos de dados públicos. Também está disponível para conjuntos de dados privados pertencentes a um usuário PRO ou a uma organização Team ou Enterprise.

Após enviar seu conjunto de dados, verifique se o Dataset Viewer exibe corretamente seus dados ou Configure o Dataset Viewer.

Conjuntos de dados em larga escala

O Hugging Face Hub suporta datasets em larga escala, geralmente enviados no formato Parquet (por exemplo, via push_to_hub() usando 🤗 Datasets) ou WebDataset.

Use upload_folder() ou hf upload da biblioteca huggingface_hub para enviar pastas grandes: eles dividem o envio em vários commits e retomam automaticamente se interrompidos.

Veja como fazer o upload de uma pasta grande, as dicas e truques para uploads grandes e os limites e recomendações de armazenamento do repositório.

Update on GitHub