Diffusers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

AceStepTransformer1DModel

Одномерный диффузионный трансформер для генерации музыки из ACE-Step 1.5. Модель работает со стерео-латентами частотой 25 Гц, полученными с помощью AutoencoderOobleck, используя flow matching. Обучение выполняется на основе архитектуры, производной от Qwen3 (grouped-query attention, rotary position embedding, RMSNorm, условное кодирование временных шагов через AdaLN-Zero), с добавлением cross-attention на текстовые, лирические и тембровые условия, формируемые AceStepConditionEncoder.

AceStepTransformer1DModel

класс diffusers.AceStepTransformer1DModel

< source >

( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )

Diffusion Transformer для генерации музыки ACE-Step 1.5.

Генерирует аудио-латенты, обусловленные текстом, текстом песни и тембром. Использует 1D-патч-эмбеддинг (Conv1d с шагом patch_size), за которым следует стек блоков AceStepTransformerBlock с чередующимся скользящим окном / полным вниманием на ветви само-внимания. Кросс-внимание потребляет упакованные encoder_hidden_states, сгенерированные AceStepConditionEncoder.

forward

< source >

( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

Параметры

hidden_states (torch.Tensor формы (batch_size, seq_len, channels)) — Шумовое латентное входное значение для процесса диффузии.
timestep (torch.Tensor формы (batch_size,)) — Текущий шаг диффузии t.
timestep_r (torch.Tensor формы (batch_size,)) — Эталонный шаг r (устанавливается равным t для стандартного вывода).
encoder_hidden_states (torch.Tensor формы (batch_size, encoder_seq_len, hidden_size)) — Векторы условий из кодировщика условий (текст + текст песни + тембр).
context_latents (torch.Tensor формы (batch_size, seq_len, context_dim)) — Контекстные латенты (исходные латенты, объединённые с масками чанков) — подаются в свёртку patchify вместе с hidden_states.
attention_kwargs (dict, необязательный) — Словарь kwargs, передаваемый в AttentionProcessor. Используется для передачи масштаба LoRA через {"scale": float}.
return_dict (bool, по умолчанию True) — Определяет, возвращать ли Transformer2DModelOutput или обычный кортеж.

Возвращает

Transformer2DModelOutput или tuple

Предсказанное поле скоростей.

Метод forward модели AceStepTransformer1DModel.

Update on GitHub

←SparseControlNetModel AllegroTransformer3DModel→