Parameter

• context_parallel_config (ContextParallelConfig, opsional) — Konfigurasi untuk paralelisme konteks.
• tensor_parallel_config (TensorParallelConfig, opsional) — Konfigurasi untuk paralelisme tensor.

Parameter

• ring_degree (int, opsional, default 1) — Jumlah perangkat yang digunakan untuk Ring Attention. Urutan (sequence) dipecah di antara perangkat. Setiap perangkat menghitung perhatian (attention) antara Q lokalnya dan potongan KV yang diteruskan secara berurutan di sekitar cincin. Memori lebih rendah (hanya menyimpan 1/N dari KV pada satu waktu), mengoverlap komputasi dengan komunikasi, tetapi memerlukan N iterasi untuk melihat semua token. Paling baik untuk urutan panjang dengan memori/bandwidth terbatas. Jumlah perangkat yang digunakan untuk ring attention di dalam region paralel konteks. Harus menjadi pembagi dari total jumlah perangkat dalam mesh paralel konteks.
• ulysses_degree (int, opsional, default 1) — Jumlah perangkat yang digunakan untuk Ulysses Attention. Pemecahan sekuens dilakukan di antara perangkat. Setiap perangkat menghitung QKV lokal, kemudian melakukan all-gather pada semua chunk KV untuk menghitung perhatian penuh dalam satu langkah. Memori lebih tinggi (menyimpan semua KV), memerlukan komunikasi all-to-all dengan pita lebar tinggi, tetapi latensi lebih rendah. Paling cocok untuk sekuens sedang dengan bandwidth interkoneksi yang baik.
• convert_to_fp32 (bool, opsional, default True) — Apakah akan mengonversi output dan LSE ke float32 untuk stabilitas numerik ring attention.
• rotate_method (str, opsional, defaultnya "allgather") — Metode yang digunakan untuk memutar state key/value antar perangkat dalam ring attention. Saat ini, hanya "allgather" yang didukung.
• ulysses_anything (bool, opsional, default False) — Apakah akan mengaktifkan mode “Ulysses Anything”, yang mendukung panjang sekuens dan jumlah head yang tidak dapat dibagi rata oleh ulysses_degree. Saat diaktifkan, ulysses_degree harus lebih besar dari 1 dan ring_degree harus 1.
• ring_anything (bool, opsional, default False) — Apakah akan mengaktifkan mode “Ring Anything”, yang mendukung panjang sekuens arbitrer. Saat diaktifkan, ring_degree harus lebih besar dari 1 dan ulysses_degree harus 1.
• mesh (torch.distributed.device_mesh.DeviceMesh, opsional) — Mesh perangkat kustom untuk digunakan pada context parallelism. Jika disediakan, mesh ini akan digunakan alih-alih membuat yang baru. Hal ini berguna saat menggabungkan context parallelism dengan strategi parallelism lain (misalnya, FSDP, tensor parallelism) yang berbagi mesh perangkat yang sama. Mesh harus memiliki dimensi “ring” dan “ulysses”. Gunakan ukuran 1 untuk dimensi yang tidak digunakan (misalnya, mesh_shape=(2, 1, 4) dengan mesh_dim_names=("ring", "ulysses", "fsdp") untuk ring attention saja dengan FSDP).

Parameter

• tp_degree (int, defaultnya 1) — Jumlah perangkat untuk sharding. Harus menjadi pembagi dari jumlah attention heads (dan dimensi tersembunyi FFN) dari model yang diparalelkan.
• mesh (torch.distributed.device_mesh.DeviceMesh, opsional) — Device mesh kustom yang akan digunakan. Jika disediakan, tp_degree disimpulkan dari mesh.size() dan argumen ini diabaikan. Berguna saat menggabungkan TP dengan strategi paralelisme lain (mis. CP) yang berbagi mesh yang sama.

Parameter

• model (torch.nn.Module) — Model yang akan di-shard secara in-place.
• config (TensorParallelConfig) — Konfigurasi tensor-parallel. Device mesh-nya harus sudah diatur dengan config.setup(...).
• tp_plan (dict) — Pemetaan datar dari glob nama modul ke gaya "colwise"/"rowwise" (atau varian yang dikemas), biasanya _tp_plan dari model.
• weights_already_sharded (bool, defaultnya False) — Apakah parameter yang direncanakan sudah berupa shard DTensor, seperti yang terjadi setelah pemuatan from_pretrained secara streaming. Jika True, hanya hook forward yang didaftarkan. Nilai ini diteruskan secara eksplisit bukan dideteksi, karena parameter yang direncanakan namun tidak ada di checkpoint akan tetap berupa meta tensor dan akan membuat deteksi menyatakan “tidak di-shard” untuk model yang sebenarnya setengah di-shard.