Diffusers documentation
UNet1DModel
UNet1DModel
El modelo UNet fue introducido originalmente por Ronneberger et al. para la segmentación de imágenes biomédicas, pero también se utiliza comúnmente en 🤗 Diffusers porque genera imágenes del mismo tamaño que la entrada. Es uno de los componentes más importantes de un sistema de difusión, ya que facilita el proceso de difusión propiamente dicho. Existen varias variantes del modelo UNet en 🤗 Diffusers, dependiendo de su número de dimensiones y de si es un modelo condicional o no. Este es un modelo UNet de 1D.
El resumen del artículo es:
Existe un amplio consenso de que el entrenamiento exitoso de redes profundas requiere miles de muestras de entrenamiento anotadas. En este artículo, presentamos una red y una estrategia de entrenamiento que se basa en el uso intensivo de aumentación de datos para utilizar las muestras anotadas disponibles de manera más eficiente. La arquitectura consiste en una ruta contractiva para capturar el contexto y una ruta expansiva simétrica que permite una localización precisa. Demostramos que una red de este tipo puede entrenarse de extremo a extremo a partir de muy pocas imágenes y supera al mejor método anterior (una red convolucional de ventana deslizante) en el desafío ISBI para la segmentación de estructuras neuronales en pilas de microscopía electrónica. Utilizando la misma red entrenada con imágenes de microscopía de luz transmitida (contraste de fase y DIC), ganamos el desafío de seguimiento celular ISBI 2015 en estas categorías por un amplio margen. Además, la red es rápida. La segmentación de una imagen de 512x512 toma menos de un segundo en una GPU reciente. La implementación completa (basada en Caffe) y las redes entrenadas están disponibles en http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.
UNet1DModel
clase diffusers.UNet1DModel
< source >( sample_size: int = 65536sample_rate: int | None = Nonein_channels: int = 2out_channels: int = 2extra_in_channels: int = 0time_embedding_type: str = 'fourier'time_embedding_dim: int | None = Noneflip_sin_to_cos: bool = Trueuse_timestep_embedding: bool = Falsefreq_shift: float = 0.0down_block_types: tuple = ('DownBlock1DNoSkip', 'DownBlock1D', 'AttnDownBlock1D')up_block_types: tuple = ('AttnUpBlock1D', 'UpBlock1D', 'UpBlock1DNoSkip')mid_block_type: str = 'UNetMidBlock1D'out_block_type: str = Noneblock_out_channels: tuple = (32, 32, 64)act_fn: str = Nonenorm_num_groups: int = 8layers_per_block: int = 1downsample_each_block: bool = False )
Parámetros
- sample_size (
int, opcional) — Longitud predeterminada de la muestra. Debe ser adaptable en tiempo de ejecución. - in_channels (
int, opcional, valor predeterminado 2) — Número de canales en la muestra de entrada. - out_channels (
int, opcional, valor predeterminado 2) — Número de canales en la salida. - extra_in_channels (
int, opcional, valor predeterminado 0) — Número de canales adicionales que se añadirán a la entrada del primer bloque de reducción. Útil para casos en los que los datos de entrada tienen más canales de los que el modelo fue diseñado inicialmente para manejar. - time_embedding_type (
str, opcional, por defecto"fourier") — Tipo de incrustación de tiempo a utilizar. - freq_shift (
float, opcional, valor predeterminado 0.0) — Desplazamiento de frecuencia para la incrustación temporal de Fourier. - flip_sin_to_cos (
bool, opcional, valor predeterminadoFalse) — Si se debe cambiar sin a cos para la incrustación temporal de Fourier. - down_block_types (
tuple[str], opcional, por defecto("DownBlock1DNoSkip", "DownBlock1D", "AttnDownBlock1D")) — tupla de tipos de bloques de muestreo descendente. - up_block_types (
tuple[str], opcional, por defecto("AttnUpBlock1D", "UpBlock1D", "UpBlock1DNoSkip")) — tupla de tipos de bloques de remuestreo ascendente. - block_out_channels (
tuple[int], opcional, por defecto(32, 32, 64)) — tupla de canales de salida de los bloques. - mid_block_type (
str, opcional, valor predeterminado"UNetMidBlock1D") — Tipo de bloque para la parte central de UNet. - out_block_type (
str, opcional, valor predeterminadoNone) — Bloque de procesamiento de salida opcional de UNet. - act_fn (
str, opcional, valor predeterminadoNone) — Función de activación opcional en los bloques de UNet. - norm_num_groups (
int, opcional, valor predeterminado 8) — El número de grupos para la normalización. - layers_per_block (
int, opcional, valor predeterminado 1) — El número de capas por bloque. - downsample_each_block (
int, opcional, valor predeterminadoFalse) — Función experimental para usar un UNet sin remuestreo ascendente.
Un modelo UNet 1D que toma una muestra con ruido y un paso de tiempo y devuelve una salida con forma de muestra.
Este modelo hereda de ModelMixin. Consulta la documentación de la clase superior para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).
forward
< source >( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]return_dict: bool = True ) → UNet1DOutput or tuple
Parámetros
- sample (
torch.Tensor) — El tensor de entrada con ruido con la siguiente forma(batch_size, num_channels, sample_size). - timestep (
torch.Tensorofloatoint) — El número de pasos de tiempo para desruidar una entrada. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un UNet1DOutput en lugar de una tupla simple.
Devuelve
UNet1DOutput o tuple
Si return_dict es True, se devuelve un UNet1DOutput; en caso contrario, se devuelve una tuple cuyo primer elemento es el tensor de la muestra.
El método forward de UNet1DModel.
UNet1DOutput
clase diffusers.models.unets.unet_1d.UNet1DOutput
< source >( sample: Tensor )
La salida de UNet1DModel.