Hub documentation
Uso de AllenNLP en Hugging Face
Uso de AllenNLP en Hugging Face
allennlp es una biblioteca de PLN para desarrollar modelos de última generación en diferentes tareas lingüísticas. Proporciona abstracciones y APIs de alto nivel para componentes y modelos comunes en el PLN moderno. También ofrece un marco extensible que facilita la ejecución y gestión de experimentos de PLN.
Explorar allennlp en el Hub
Puedes encontrar modelos de allennlp en el Hub filtrando a la izquierda de la página de modelos.
Todos los modelos del Hub vienen con funciones útiles
- Una pestaña de métricas de entrenamiento con trazas de TensorBoard alojadas automáticamente.
- Etiquetas de metadatos que ayudan a la descubribilidad.
- Un widget interactivo que puedes usar para experimentar con el modelo directamente en el navegador.
- Un widget de Inference Providers que permite realizar solicitudes de inferencia.
Uso de modelos existentes
Puede usar la clase Predictor para cargar modelos existentes en el Hub. Para lograrlo, use el método from_path y utilice el prefijo "hf://" con el id del repositorio. Aquí hay un ejemplo de principio a fin.
import allennlp_models
from allennlp.predictors.predictor import Predictor
predictor = Predictor.from_path("hf://allenai/bidaf-elmo")
predictor_input = {
"passage": "My name is Wolfgang and I live in Berlin",
"question": "Where do I live?"
}
predictions = predictor.predict_json(predictor_input)Para obtener un fragmento como este, puedes hacer clic en Use in AllenNLP en la parte superior derecha,
Compartir tus modelos
El primer paso es guardar el modelo localmente. Por ejemplo, puedes usar el método archive_model para guardar el modelo como un archivo model.tar.gz. Luego puedes subir el modelo comprimido al Hub. Cuando entrenas un modelo con allennlp, el modelo se serializa automáticamente, por lo que puedes usarlo como opción preferida.
Uso de la CLI de AllenNLP
Para publicar con la CLI, puede usar el comando allennlp push_to_hf como se muestra a continuación.
allennlp push_to_hf --repo_name test_allennlp --archive_path model
| Argumento | Tipo | Descripción |
|---|---|---|
--repo_name, -n | str / Path | Nombre del repositorio en el Hub. |
--organization, -o | str | Nombre opcional de la organización a la que se debe subir el pipeline. |
--serialization-dir, -s | str / Path | Ruta al directorio con el modelo serializado. |
--archive-path, -a | str / Path | Si en lugar de una ruta de serialización está utilizando un modelo comprimido (p. ej., model/model.tar.gz), puede usar esta bandera. |
--local-repo-path, -l | str / Path | Ruta local del repositorio del modelo (se creará si no existe). El valor predeterminado es hub en el directorio de trabajo actual. |
--commit-message, -c | str | Mensaje de commit a usar para la actualización. El valor predeterminado es "update repository". |
Desde un script de Python
La función push_to_hf tiene los mismos parámetros que el script de bash.
from allennlp.common.push_to_hf import push_to_hf
serialization_dir = "path/to/serialization/directory"
push_to_hf(
repo_name="my_repo_name",
serialization_dir=serialization_dir,
local_repo_path=self.local_repo_path
)En solo un minuto, puedes tener tu modelo en el Hub, probarlo directamente en el navegador y compartirlo con el resto de la comunidad. ¡Se subirá toda la metadatos necesarios por ti!
Recursos adicionales
- Web de AllenNLP .
- Repositorio de AllenNLP repository.