Documentation du Hugging Face Hub

Le Hugging Face Hub est la plateforme de référence pour l’IA ouverte. Il héberge plus de 2 millions de modèles, 1,5 million de jeux de données et 1,5 million d’applications IA (Spaces), tous ouverts et accessibles au public. Au-delà de l’IA ouverte, le Hub est également une excellente plateforme de collaboration pour les équipes internes et privées. Explorez, expérimentez, collaborez et construisez, le tout au même endroit ! 🤗

Qu'est-ce que le Hugging Face Hub ?

Nous aidons la communauté à travailler ensemble vers l'objectif de faire progresser le Machine Learning 🔥.

Aucune entreprise, y compris les géants de la tech, ne pourra « résoudre l’IA » seule – la seule façon d’y parvenir est de partager les connaissances et les ressources dans une approche centrée sur la communauté. Nous construisons la plus grande collection open source de modèles, de jeux de données et de démos sur le Hugging Face Hub afin de démocratiser et de faire progresser le ML pour tous 🚀.

Nous vous encourageons à lire le Code de conduite et les Directives de contenu pour vous familiariser avec les valeurs que nous attendons de la part des membres de notre communauté 🤗.

Que peut-on trouver sur le Hub ?

Le Hugging Face Hub héberge des dépôts basés sur Git, qui sont des dossiers sous contrôle de version pouvant contenir tous vos fichiers. Pour le stockage d'objets mutables non versionnés, le Hub propose également des Storage Buckets.

Là, vous pourrez téléverser et découvrir…

• Modèles : hébergement des modèles les plus récents et les plus performants pour les tâches de LLM, de texte, de vision et d'audio
• Jeux de données : présentant une grande variété de données pour différents domaines et modalités
• Spaces : des applications interactives pour démontrer des modèles de ML directement dans votre navigateur

Le Hub propose le versioning, l’historique des commits, les diffs, les branches et plus d’une douzaine d’intégrations de bibliothèques ! Tous les dépôts s’appuient sur Xet, une nouvelle technologie permettant de stocker efficacement les fichiers volumineux dans Git, en découpant intelligemment les fichiers en chunks uniques et en accélérant les téléversements et les téléchargements.

Vous pouvez en savoir plus sur les fonctionnalités communes à tous les dépôts dans la documentation des dépôts.

Modèles

Vous pouvez découvrir et utiliser des dizaines de milliers de modèles de ML open source partagés par la communauté. Pour promouvoir un usage et un développement responsables des modèles, les dépôts de modèles sont dotés de fiches de modèle (Model Cards) afin d’informer les utilisateurs des limites et des biais de chaque modèle. Des métadonnées supplémentaires, telles que les tâches, les langues et les résultats d’évaluation, peuvent être incluses, avec même des graphiques de métriques d’entraînement si le dépôt contient des traces TensorBoard. Il est également facile d’ajouter un widget d’inférence à votre modèle, permettant à quiconque de tester le modèle directement dans le navigateur ! Pour un accès programmatique, une API serverless est fournie par Inference Providers.

Pour téléverser des modèles sur le Hub, ou télécharger des modèles et les intégrer à votre travail, consultez la documentation des modèles. Vous pouvez également choisir parmi plus d’une douzaine de bibliothèques telles que 🤗 Transformers, Asteroid et ESPnet qui prennent en charge le Hub.

Jeux de données

Le Hub abrite plus de 500 000 jeux de données publics dans plus de 8 000 langues, utilisables pour une large gamme de tâches en NLP, Computer Vision et Audio. Le Hub simplifie la recherche, le téléchargement et le dépôt de jeux de données. Les jeux de données sont accompagnés d’une documentation approfondie sous forme de Dataset Cards et de Data Studio pour vous permettre d’explorer les données directement dans votre navigateur. Bien que de nombreux jeux de données soient publics, les organizations et les particuliers peuvent créer des jeux de données privés pour se conformer aux questions de licence ou de confidentialité. Vous pouvez en savoir plus sur les Datasets ici dans la documentation du Hugging Face Hub.

La bibliothèque 🤗 datasets vous permet d’interagir avec les jeux de données de manière programmatique, afin d’utiliser facilement les jeux de données du Hub dans vos projets. En une seule ligne de code, vous pouvez accéder aux jeux de données ; même s’ils sont si volumineux qu’ils ne tiennent pas sur votre ordinateur, vous pouvez utiliser le streaming pour accéder efficacement aux données.

Spaces

Spaces est un moyen simple d’héberger des applications de démonstration ML sur le Hub. Ils vous permettent de constituer votre portefeuille ML, de présenter vos projets lors de conférences ou à des parties prenantes, et de collaborer avec d’autres personnes de l’écosystème ML.

Nous prenons actuellement en charge deux SDK Python remarquables (Gradio et Streamlit) qui vous permettent de créer des applications en quelques minutes. Les utilisateurs peuvent également créer des Spaces statiques, qui sont de simples pages HTML/CSS/JavaScript, ou déployer n’importe quelle application basée sur Docker.

Si vous avez besoin de puissance GPU pour vos démonstrations, essayez ZeroGPU : il fournit dynamiquement des GPU NVIDIA RTX Pro 6000 Blackwell, en temps réel, uniquement lorsque c'est nécessaire.

Après avoir exploré quelques Spaces (jetez un œil à notre Space de la semaine !), plongez dans la documentation des Spaces pour tout savoir sur la création de votre propre Space. Vous pourrez également mettre à niveau votre Space pour l’exécuter sur un GPU ou tout autre matériel accéléré. ⚡️

Bacs de stockage

Storage Buckets offrent un stockage d’objets de type S3 sur Hugging Face, propulsé par le backend de stockage Xet. Contrairement aux dépôts (basés sur git et qui suivent l’historique des fichiers), les buckets sont des conteneurs de stockage d’objets distants conçus pour les fichiers de grande taille avec déduplication par adresse de contenu. Ils sont destinés aux cas d’usage nécessitant un stockage simple, rapide et mutable, comme le stockage de points de contrôle d’entraînement, de journaux, d’artefacts intermédiaires ou de toute grande collection de fichiers qui n’a pas besoin de contrôle de version.

Organisations

Les entreprises, les universités et les organisations à but non lucratif font partie intégrante de la communauté Hugging Face ! Le Hub propose des Organizations, qui permettent de regrouper des comptes et de gérer des datasets, des modèles et des Spaces. Les enseignants peuvent également créer des organisations collaboratives pour leurs étudiants à l’aide de Hugging Face for Classrooms. Les dépôts d’une organisation sont mis en avant sur sa page, et chaque membre de l’organisation peut contribuer au dépôt. En plus de regrouper efficacement l’ensemble du travail d’une organisation, le Hub permet aux administrateurs de définir des rôles afin de contrôler l’accès aux dépôts et de gérer la méthode de paiement et les informations de facturation de leur organisation. Le Machine Learning est plus amusant en collaboration ! 🔥

Explorez les organisations existantes, créez une nouvelle organisation ici, puis consultez la documentation des organisations pour en savoir plus.

Sécurité

Le Hugging Face Hub prend en charge des fonctionnalités de sécurité et de contrôle d’accès pour vous garantir que votre code, vos modèles et vos données sont en sécurité. Consultez la section Sécurité de cette documentation pour en savoir plus sur :

• Jetons d'accès utilisateur
• Contrôle d'accès pour les organisations
• Signature des commits avec GPG
• Analyse des logiciels malveillants

Update on GitHub