Diffusers documentation
JoyImageEditPlusTransformer3DModel
JoyImageEditPlusTransformer3DModel
モデルは、以下のコードスニペットで読み込むことができます。
from diffusers import JoyImageEditPlusTransformer3DModel
transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)JoyImageEditPlusTransformer3DModel
class diffusers.JoyImageEditPlusTransformer3DModel
< source >( patch_size: list[int] = [1, 2, 2]in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 3072num_attention_heads: int = 24text_dim: int = 4096mlp_width_ratio: float = 4.0num_layers: int = 20rope_dim_list: list[int] = [16, 56, 56]rope_type: str = 'rope'theta: int = 256 )
パラメータ
- patch_size (
list、デフォルトは[1, 2, 2]) —(t, h, w)次元に沿って潜在入力を行方塊化（パッチ化）するためのパッチサイズ。 - in_channels (
int、デフォルトは16) — 入力潜在変数のチャネル数です。 - out_channels (
int, 省略可、デフォルトはNone) — 出力のチャネル数です。指定しない場合、デフォルトでin_channelsになります。 - hidden_size (
int、デフォルトは3072) — 隠れ表現の次元数です。 - num_attention_heads (
int、デフォルトは24) — アテンションヘッドの数です。 - text_dim (
int、デフォルトは4096) — テキストエンコーダーの出力の次元数です。 - mlp_width_ratio (
float、デフォルト値は4.0) —hidden_sizeに対するMLPの隠れ層次元の比率です。 - num_layers (
int、デフォルトは20) — ダブルストリーム型トランスフォーマーブロックの数です。 - rope_dim_list (
list[int]、デフォルトは[16, 56, 56]) —(t, h, w)方向の 3 次元回転位置埋め込みの次元数です。 - rope_type (
str、デフォルトは"rope") — 回転位置埋め込みの種類です。 - theta (
int、デフォルトは256) — ロータリー埋め込みのベース周波数です。
複数画像の編集に対応した JoyImage Edit Plus Transformer。
各参照画像とターゲットノイズを独立してパッチ化し、フラットなパッチシーケンスに連結するパッチ化+パディング方式を採用しています。可変解像度の参照画像に対応しています。
入力形式: [B, max_patches, C, pt, ph, pw]（6次元のパディング済みパッチ）。
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_hidden_states_mask: typing.Optional[torch.Tensor] = Noneshape_list: list[list[tuple[int, int, int]]] = Nonereturn_dict: bool = True )
パラメータ
- hidden_states — [B, max_patches, C, pt, ph, pw] - パッチ化された潜在入力。
- timestep — [B] - 拡散タイムステップ。
- encoder_hidden_states — [B, L, D] - テキストエンコーダーの出力。
- encoder_hidden_states_mask — [B, L] - テキストトークンのアテンションマスク。
- shape_list — 各コンポーネント（ターゲット + 参照）について、サンプルごとの (t, h, w) タプルのリスト。
- return_dict — dict を返すか、tuple を返すかを指定します。
Transformer2DModelOutput
クラス diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
パラメータ
- sample (
torch.Tensor、形状(batch_size, num_channels, height, width)、または Transformer2DModel が離散型の場合(batch size, num_vector_embeds - 1, num_latent_pixels)) —encoder_hidden_states入力を条件とする隠れ状態の出力です。離散型の場合、ノイズ除去されていない潜在ピクセルの確率分布を返します。
Transformer2DModelの出力です。