Uso de modelos de Unity Sentis desde Hugging Face

Unity 3D es uno de los motores de juego más populares del mundo. Unity Sentis es el motor de inferencia que se ejecuta en Unity 2023 o superior. Es una API que permite integrar y ejecutar modelos de redes neuronales en tu juego o aplicación de forma sencilla, aprovechando la aceleración por hardware. Dado que Unity puede exportar a muchos formatos diferentes, incluidos PC, móviles y consolas, esto representa una forma sencilla de ejecutar modelos de redes neuronales en muchos tipos distintos de hardware.

Explorar modelos de Sentis en el Hub

Encontrarás modelos de unity-sentis filtrando a la izquierda de la página de modelos.

Todos los modelos de Sentis en el Hub incluyen código e instrucciones para que puedas empezar a usar el modelo en Unity de forma sencilla. Todos los modelos de Sentis bajo el espacio de nombres unity (por ejemplo, unity/sentis-yolotinyv7) han sido validados para funcionar, por lo que puedes estar seguro de que se ejecutarán en Unity.

Para obtener más detalles sobre el uso de Sentis, puedes leer su documentación. Para obtener ayuda de otras personas que usan Sentis, puedes hacer preguntas en su foro de discusión

Tipos de archivos

Cada repositorio contendrá varios tipos de archivos:

• Archivos de sentis: son los archivos principales del modelo que contienen las redes neuronales que se ejecutan en Unity.
• ONNX files: Este es un formato alternativo que puedes incluir además de, o en lugar de, los archivos de Sentis. Puede ser útil para la visualización con herramientas de terceros como Netron.
• Archivo cs: estos son archivos de C# que contienen el código para ejecutar el modelo en Unity.
• info.json: Este archivo contiene información sobre los archivos del repositorio.
• Archivos de datos. Son otros archivos necesarios para ejecutar el modelo. Pueden incluir archivos de vocabulario, listas de nombres de clases, etc. Algunos archivos típicos tienen extensiones json o txt.
• README.md. Esta es la tarjeta del modelo. Contiene instrucciones sobre cómo usar el modelo y otra información relevante.

Ejecución del modelo

Consulte siempre las instrucciones de la tarjeta del modelo. Se espera que tenga algunos conocimientos de Unity y conocimientos básicos de C#.

1. Abra Unity 2023 o una versión posterior y cree una nueva escena.

2. Instale el paquete com.unity.sentis desde el package manager.

3. Descarga los archivos de tu modelo (*.sentis) y los archivos de datos y colócalos en la carpeta StreamingAssets, que es una subcarpeta dentro de la carpeta Assets. (Si esta carpeta no existe, puedes crearla).

4. Coloque su archivo de C# en un objeto de la escena, como la cámara principal.

5. Consulte la tarjeta del modelo para ver si hay otros objetos que deba crear en la escena.

En la mayoría de los casos, solo proporcionamos la implementación básica para que puedas empezar a trabajar. Depende de ti encontrar usos creativos. Por ejemplo, es posible que quieras combinar dos o más modelos para hacer cosas interesantes.

Compartir tus propios modelos de Sentis

Te animamos a compartir tus propios modelos de Sentis en Hugging Face. Pueden ser modelos que hayas entrenado tú mismo o modelos que hayas convertido al formato Sentis y que hayas probado para que funcionen en Unity.

Proporciona los modelos en el formato Sentis para cada repositorio que subas. Esto ofrece una verificación adicional de que funcionarán en Unity y también es el formato preferido para modelos grandes. También puedes incluir las versiones originales en ONNX de los archivos del modelo.

Proporcione un archivo de C# con una implementación mínima. Por ejemplo, un modelo de procesamiento de imágenes debe incluir código que muestre cómo preparar la imagen para la entrada y cómo construir la imagen a partir de la salida. Alternativamente, puede enlazar a algún código de ejemplo externo. Esto facilitará que otras personas descarguen y utilicen el modelo en Unity.

Proporcione los archivos de datos necesarios para ejecutar el modelo. Por ejemplo, archivos de vocabulario.

Por último, proporcione un archivo info.json que liste los archivos de su proyecto. Esto ayuda a contar las descargas. Algunos ejemplos del contenido de info.json son:

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

O si su ejemplo de código es externo:

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

Información adicional

También contamos con algunos proyectos de ejemplo completos para ayudarte a empezar a usar Sentis.