Hugging Face's logo

Diffusers documentation

StableAudioDiTModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

StableAudioDiTModel

Model Transformer untuk gelombang audio dari Stable Audio Open.

StableAudioDiTModel

kelas diffusers.StableAudioDiTModel

< >

( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )

Parameter

  • sample_size ( int, opsional, default 1024) — Ukuran sampel input.
  • in_channels (int, opsional, default 64) — Jumlah channel pada input.
  • num_layers (int, opsional, default 24) — Jumlah lapisan blok Transformer yang akan digunakan.
  • attention_head_dim (int, opsional, default 64) — Jumlah channel di setiap head.
  • num_attention_heads (int, opsional, default 24) — Jumlah head yang digunakan untuk state query.
  • num_key_value_attention_heads (int, opsional, default 12) — Jumlah head yang digunakan untuk state key dan value.
  • out_channels (int, defaultnya 64) — Jumlah kanal output.
  • cross_attention_dim ( int, opsional, default 768) — Dimensi dari proyeksi cross-attention.
  • time_proj_dim ( int, opsional, default 256) — Dimensi dari proyeksi internal timestep.
  • global_states_input_dim ( int, opsional, default 1536) — Dimensi input dari proyeksi global hidden states.
  • cross_attention_input_dim ( int, opsional, default 768) — Dimensi input dari proyeksi cross-attention

Model Diffusion Transformer yang diperkenalkan dalam Stable Audio.

Referensi: https://github.com/Stability-AI/stable-audio-tools

forward

< >

( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )

Parameter

  • hidden_states (torch.FloatTensor dengan bentuk (batch size, in_channels, sequence_len)) — hidden_states masukan.
  • timestep ( torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states (torch.FloatTensor dengan bentuk (batch size, encoder_sequence_len, cross_attention_input_dim)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • global_hidden_states (torch.FloatTensor dengan bentuk (batch size, global_sequence_len, global_states_input_dim)) — Embedding global yang akan ditambahkan di depan hidden states.
  • rotary_embedding (torch.Tensor) — Rotary embeddings yang diterapkan pada tensor query dan key selama perhitungan attention.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.
  • attention_mask (torch.Tensor dengan bentuk (batch_size, sequence_len), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding, yang dibentuk dengan menggabungkan attention mask untuk kedua text encoder. Nilai mask yang dipilih dalam [0, 1]:
    • 1 untuk token yang tidak dimasker,
    • 0 untuk token yang dimasker.
  • encoder_attention_mask (torch.Tensor dengan bentuk (batch_size, sequence_len), opsional) — Mask untuk menghindari eksekusi attention pada indeks cross-attention token padding, yang dibentuk dengan mengonkatenasi attention mask untuk kedua text encoder. Nilai mask yang dipilih dalam [0, 1]:
    • 1 untuk token yang tidak dimasker,
    • 0 untuk token yang dimasker.

Metode forward dari StableAudioDiTModel.

set_default_attn_processor

< >

( )

Menonaktifkan prosesor perhatian kustom dan mengatur implementasi perhatian default.

Update on GitHub

←StableAudio3DiTModel Transformer2DModel→