Diffusers documentation
StableAudioDiTModel
StableAudioDiTModel
Модель Transformer для аудиоволновых форм из Stable Audio Open.
StableAudioDiTModel
класс diffusers.StableAudioDiTModel
< source >( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )
Параметры
- sample_size (
int, необязательный, по умолчанию 1024) — Размер входной выборки. - in_channels (
int, необязательный, по умолчанию 64) — Количество каналов на входе. - num_layers (
int, необязательный, по умолчанию 24) — Количество блоков Transformer, используемых в модели. - attention_head_dim (
int, необязательный, по умолчанию 64) — количество каналов в каждой голове. - num_attention_heads (
int, необязательный, по умолчанию 24) — количество голов, используемых для состояний запроса. - num_key_value_attention_heads (
int, необязательный, по умолчанию 12) — Количество голов, используемых для состояний ключей и значений. - out_channels (
int, по умолчанию 64) — Количество выходных каналов. - cross_attention_dim (
int, необязательный, по умолчанию 768) — Размерность проекции кросс-внимания. - time_proj_dim (
int, необязательный, по умолчанию 256) — Размерность внутренней проекции временного шага. - global_states_input_dim (
int, необязательный, по умолчанию 1536) — Размерность входа для проекции глобальных скрытых состояний. - cross_attention_input_dim (
int, необязательный, по умолчанию 768) — Размерность входа для проекции кросс-внимания
Модель Diffusion Transformer, представленная в Stable Audio.
Ссылка: https://github.com/Stability-AI/stable-audio-tools
forward
< source >( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )
Параметры
- hidden_states (
torch.FloatTensorформы(batch size, in_channels, sequence_len)) — Входныеhidden_states. - timestep (
torch.LongTensor) — Используется для указания шага денойзинга. - encoder_hidden_states (
torch.FloatTensorформы(batch size, encoder_sequence_len, cross_attention_input_dim)) — Условные эмбеддинги (эмбеддинги, вычисленные на основе входных условий, таких как промпты), которые следует использовать. - global_hidden_states (
torch.FloatTensorформы(batch size, global_sequence_len, global_states_input_dim)) — Глобальные эмбеддинги, которые будут добавлены в начало скрытых состояний. - rotary_embedding (
torch.Tensor) — Ротационные эмбеддинги, применяемые к тензорам запросов и ключей при вычислении внимания. - return_dict (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли возвращать~models.transformer_2d.Transformer2DModelOutputвместо обычного кортежа. - attention_mask (
torch.Tensorс формой(batch_size, sequence_len), , необязательный) — Маска для предотвращения применения внимания к индексам токенов отступов, образованная путем конкатенации масок внимания для двух текстовых энкодеров. Значения маски выбираются из[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- encoder_attention_mask (
torch.Tensorс формой(batch_size, sequence_len), , необязательный) — Маска для предотвращения применения внимания к индексам padding-токенов в cross-attention, образованная конкатенацией масок внимания для двух текстовых энкодеров. Значения маски выбираются из[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Метод forward модели StableAudioDiTModel.
Отключает пользовательские обработчики внимания и устанавливает реализацию внимания по умолчанию.