Hugging Face's logo

Diffusers documentation

HiDreamImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HiDreamImageTransformer2DModel

HiDream-I1'den görüntü benzeri veriler için bir Transformer modeli.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

HiDream-I1 için GGUF kuantize edilmiş kontrol noktalarını yükleme

HiDreamImageTransformer2DModel için GGUF kontrol noktaları, ~FromOriginalModelMixin.from_single_file kullanılarak yüklenebilir.

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

sınıf diffusers.HiDreamImageTransformer2DModel

< >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple = (32, 32)max_resolution: tuple = (128, 128)llama_layers: list = Noneforce_inference_output: bool = False )

forward

< >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width) veya (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — Girdi hidden_states.
  • timesteps (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states_t5 (torch.Tensor) — T5 metin kodlayıcısından hesaplanan koşullu gömme değerleri.
  • encoder_hidden_states_llama3 (torch.Tensor) — Llama3 metin kodlayıcısından hesaplanan koşullu gömme değerleri.
  • pooled_embeds (torch.Tensor) — Ek koşullandırma için kullanılan havuzlanmış metin gömme değerleri.
  • img_ids (torch.Tensor, isteğe bağlı) — Yamalı gizli durumlar için görüntü konum kimlikleri.
  • img_sizes (list of tuple of int, isteğe bağlı) — Çıktıyı unpatchify işlemine tabi tutmak için örnek başına kullanılan yama ızgara boyutları.
  • hidden_states_masks (torch.Tensor, isteğe bağlı) — Patched hidden_states üzerinde maske.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

HiDreamImageTransformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→