パラメータ

• sample_size (int) — 潜在画像の幅です。これは位置埋め込みの数を学習するために使用されるため、学習中は固定されます。
• patch_size (int, 任意, (int, 任意, デフォルトは 2) — 画像における各パッチのサイズです。このパラメータは、モデルに投入されるパッチの解像度を定義します。
• in_channels (int、任意、デフォルト値は 4) — モデルの入力チャネル数です。通常、入力画像のチャネル数と一致します。
• hidden_size (int、任意、デフォルト値は 4096) — モデルの隠れ層の次元数です。このパラメータは、モデルの隠れ表現の幅を決定します。
• num_layers (int、任意、デフォルトは 32) — モデルの層数です。これはニューラルネットワークの深さを定義します。
• num_attention_heads (int、任意、デフォルトは 32) — 各アテンション層におけるアテンションヘッドの数です。このパラメータは、使用される独立したアテンションメカニズムの数を指定します。
• num_kv_heads (int, 任意、デフォルトは 8) — アテンション機構におけるキー・バリューヘッドの数です。アテンションヘッドの数と異なる場合に指定します。 None の場合、デフォルトで num_attention_heads が使用されます。
• multiple_of (int、任意、デフォルトは 256) — 隠れ層サイズが倍数であるべき係数です。これにより、特定のハードウェア構成の最適化に役立ちます。
• ffn_dim_multiplier (float, 省略可) — フィードフォワードネットワークの次元に対する乗数です。None の場合、モデル設定に基づいたデフォルト値が使用されます。
• norm_eps (float、任意、デフォルトは 1e-5) — 正規化層における数値的安定性を確保するために分母に加算される小さな値。
• learn_sigma (bool、省略可能、デフォルトは True) — モデルがシグマパラメータを学習すべきかどうかを指定します。このパラメータは、予測の不確実性や分散に関連する可能性があります。
• qk_norm (bool、任意、デフォルトは True) — アテンション機構におけるクエリとキーを正規化するかを示します。
• cross_attention_dim (int、任意、デフォルトは 2048)— テキスト埋め込みの次元数です。このパラメータは、モデル内で使用されるテキスト表現のサイズを定義します。
• scaling_factor (float、任意、デフォルト値は 1.0) — モデル内の特定のパラメータやレイヤーに適用されるスケーリング係数です。モデルの演算全体のスケールを調整するために使用できます。