Diffusers documentation
UVit2DModel
UVit2DModel
U-ViTモデルは、Vision Transformer (ViT) をベースとしたUNetです。このモデルは、ViTの要素（時間、条件、ノイズ付き画像パッチなどのすべての入力をトークンとして扱う）と、UNetの要素（浅い層と深い層間の長いスキップ接続）を組み合わせています。スキップ接続は、ピクセルレベルの特徴を予測するために重要です。画像の品質を向上させるため、最終出力の前に追加の3x3畳み込みブロックが適用されます。
論文の抄録は以下の通りです：
現在、高解像度画像のピクセル空間に拡散モデルを適用することは困難です。そのため、既存のアプローチでは、低次元空間での拡散（潜在拡散）に焦点を当てたり、カスケードと呼ばれる複数の超解像度レベルの生成を行ったりしています。これらのアプローチのデメリットは、拡散フレームワークに追加の複雑さを生じさせる点です。本論文では、モデルをできるだけシンプルに保ちながら、高解像度画像向けのデノイジング拡散を改善することを目的としています。本論文は、次の研究課題を中心に据えています。高解像度画像で標準的なデノイジング拡散モデルを訓練し、かつこれらの代替アプローチと同等の性能を得るにはどうすればよいか。主な発見は以下の4点です。1) 高解像度画像にはノイズスケジュールの調整が必要であること、2) アーキテクチャの一部のみをスケーリングすれば十分であること、3) アーキテクチャの特定の箇所にドロップアウトを追加すべきであること、4) ダウンサンプリングは高解像度の特徴マップを回避する効果的な戦略であること。これらのシンプルかつ効果的な手法を組み合わせることで、ImageNetにおいてサンプリング修正なしの拡散モデルの中で、画像生成の最先端性能を達成しました。
UVit2DModel
クラス diffusers.UVit2DModel
< source >( hidden_size: int = 1024use_bias: bool = Falsehidden_dropout: float = 0.0cond_embed_dim: int = 768micro_cond_encode_dim: int = 256micro_cond_embed_dim: int = 1280encoder_hidden_size: int = 768vocab_size: int = 8256codebook_size: int = 8192in_channels: int = 768block_out_channels: int = 768num_res_blocks: int = 3downsample: bool = Falseupsample: bool = Falseblock_num_heads: int = 12num_hidden_layers: int = 22num_attention_heads: int = 16attention_dropout: float = 0.0intermediate_size: int = 2816layer_norm_eps: float = 1e-06ln_elementwise_affine: bool = Truesample_size: int = 64 )
forward
< source >( input_idsencoder_hidden_statespooled_text_embmicro_condscross_attention_kwargs = None ) → torch.Tensor
パラメータ
- input_ids (
torch.LongTensor) — マスクされた潜在画像トークンのトークン ID で、形状は(batch_size, height, width)です。 - encoder_hidden_states (
torch.Tensor) — 使用する条件埋め込み（プロンプトなどの入力条件から計算される埋め込み）。 - pooled_text_emb (
torch.Tensor) — 追加の条件付けに使用されるプーリング済みテキスト埋め込み。 - micro_conds (
torch.Tensor) — 埋め込みされ、pooled_text_embと結合されるマイクロ条件付けの値です。 - cross_attention_kwargs (
dict, 省略可) — 指定された場合、AttentionProcessorに渡される kwargs の辞書です。
戻り値
torch.Tensor
各画像トークンに対するコードブックの logits で、形状は (batch_size, codebook_size, height, width) です。
カスタムアテンションプロセッサを無効にし、デフォルトのアテンション実装を設定します。
UVit2DConvEmbed
class diffusers.models.unets.uvit_2d.UVit2DConvEmbed
< source >( in_channelsblock_out_channelsvocab_sizeelementwise_affineepsbias )
UVitBlock
クラス diffusers.models.unets.uvit_2d.UVitBlock
< source >( channelsnum_res_blocks: inthidden_sizehidden_dropoutln_elementwise_affinelayer_norm_epsuse_biasblock_num_headsattention_dropoutdownsample: boolupsample: bool )
ConvNextBlock
class diffusers.models.unets.uvit_2d.ConvNextBlock
< source >( channelslayer_norm_epsln_elementwise_affineuse_biashidden_dropouthidden_sizeres_ffn_factor = 4 )
ConvMlmLayer
class diffusers.models.unets.uvit_2d.ConvMlmLayer
< source >( block_out_channels: intin_channels: intuse_bias: boolln_elementwise_affine: boollayer_norm_eps: floatcodebook_size: int )