매개변수

• sample_size (int) — 잠재 이미지(latent images)의 너비입니다. 학습 중에 위치 임베딩(position embeddings)의 수를 학습하는 데 사용되므로 고정됩니다.
• patch_size (int, 선택 사항, (int, 선택 사항, 기본값 2) — 이미지에서 각 패치의 크기입니다. 이 매개변수는 모델에 입력되는 패치의 해상도를 정의합니다.
• in_channels (int, 선택 사항, 기본값 4) — 모델의 입력 채널 수입니다. 일반적으로 이는 입력 이미지의 채널 수와 일치합니다.
• hidden_size (int, 선택 사항, 기본값 4096) — 모델의 히든 레이어 차원입니다. 이 매개변수는 모델의 히든 표현 폭을 결정합니다.
• num_layers (int, 선택 사항, 기본값 32) — 모델의 레이어 수입니다. 이는 신경망의 깊이를 정의합니다.
• num_attention_heads (int, 선택 사항, 기본값 32) — 각 attention layer의 attention head 수입니다. 이 매개변수는 사용할 개별 attention mechanism의 수를 지정합니다.
• num_kv_heads (int, 선택 사항, 기본값 8) — attention heads의 수와 다른 경우, attention 메커니즘의 key-value heads 수입니다. None인 경우 num_attention_heads가 기본값으로 사용됩니다.
• multiple_of (int, 선택 사항, 기본값 256) — hidden size가 배수가 되어야 하는 인자입니다. 이는 특정 하드웨어 구성을 최적화하는 데 도움이 될 수 있습니다.
• ffn_dim_multiplier (float, 선택 사항) — 피드포워드 네트워크의 차원에 적용할 배율입니다. None인 경우 모델 구성에 기반한 기본 값을 사용합니다.
• norm_eps (float, 선택 사항, 기본값 1e-5) — 정규화 레이어에서 수치적 안정성을 위해 분모에 추가되는 작은 값.
• learn_sigma (bool, 선택 사항, 기본값 True) — 모델이 예측의 불확실성 또는 분산과 관련될 수 있는 sigma 매개변수를 학습해야 하는지 여부.
• qk_norm (bool, 선택 사항, 기본값 True) — Attention 메커니즘의 queries와 keys를 정규화할지 여부를 나타냅니다.
• cross_attention_dim (int, 선택 사항, 기본값 2048) — 텍스트 임베딩의 차원입니다. 이 매개변수는 모델에서 사용되는 텍스트 표현의 크기를 정의합니다.
• scaling_factor (float, 선택 사항, 기본값 1.0) — 모델의 특정 매개변수나 레이어에 적용되는 스케일링 계수입니다. 이는 모델 연산의 전체적인 스케일을 조정하는 데 사용할 수 있습니다.