AutoPipeline

AutoPipeline は、タスクに基づいて適切なパイプラインのサブクラスを自動的に選択する、タスクとモデルを扱うパイプラインです。具体的なパイプラインのサブクラス名を知らなくても、異なるパイプラインのサブクラスを読み込む複雑さを処理します。

これは、モデルに基づいてパイプラインのサブクラスを自動的に選択するモデル専用のパイプラインであるDiffusionPipelineとは異なります。

AutoPipelineForImage2Image.from_pretrained(model_id)
        |
        +-- read model_index.json  (e.g. StableDiffusionXLPipeline)
        +-- task mapping           (image-to-image)
        |
        v
StableDiffusionXLImg2ImgPipeline   // returned instance

AutoPipelineForImage2Image は、タスク固有のサブクラス（例: StableDiffusionXLImg2ImgPipeline）を返します。このサブクラスは、画像から画像へのタスクでのみ使用できます。

import torch
from diffusers import AutoPipelineForImage2Image

pipeline = AutoPipelineForImage2Image.from_pretrained(
  "RunDiffusion/Juggernaut-XL-v9", dtype=torch.bfloat16, device_map="cuda",  # or "mps", "xpu", "cpu"
)
print(pipeline)
# StableDiffusionXLImg2ImgPipeline {
#   "_class_name": "StableDiffusionXLImg2ImgPipeline",
#   ...
# }

DiffusionPipelineで同じモデルを読み込むと、デフォルトのテキストから画像へのサブクラスであるStableDiffusionXLPipelineが返されます。このパイプラインはテキストから画像への生成用です。画像から画像への生成やインペインティングを行う場合は、AutoPipelineForImage2ImageやAutoPipelineForInpaintingなどのタスク用AutoPipeline、または対応するタスク固有のサブクラスを読み込んでください。

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained(
  "RunDiffusion/Juggernaut-XL-v9", dtype=torch.bfloat16, device_map="cuda",  # or "mps", "xpu", "cpu"
)
print(pipeline)
# StableDiffusionXLPipeline {
#   "_class_name": "StableDiffusionXLPipeline",
#   ...
# }

from_pipe でタスクを切り替える

タスクのAutoPipelineを一度読み込み、from_pipe()でタスクを切り替えることで、重みの再ダウンロードなしに切り替えが可能です。コンポーネントはソースのパイプラインから再利用されます。

import torch
from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

pipeline_t2i = AutoPipelineForText2Image.from_pretrained(
  "RunDiffusion/Juggernaut-XL-v9", dtype=torch.bfloat16, device_map="cuda",  # or "mps", "xpu", "cpu"
)
pipeline_i2i = AutoPipelineForImage2Image.from_pipe(pipeline_t2i)

詳細については、複数のパイプラインでのモデルの再利用を参照してください。

モデルがサポートされているかどうかを確認するには、mappingsを参照してください。サポートされていないモデルの読み込みに失敗すると、エラーが返されます。

import torch
from diffusers import AutoPipelineForImage2Image

pipeline = AutoPipelineForImage2Image.from_pretrained(
    "openai/shap-e-img2img", dtype=torch.float16,
)
"ValueError: AutoPipeline can't find a pipeline linked to ShapEImg2ImgPipeline for None"

AutoPipeline クラスには4つの種類があります。

これらのクラスにはそれぞれ事前定義されたマッピングがあり、パイプラインをタスク固有のサブクラスにリンクしています。

from_pretrained() が呼び出されると、model_index.json ファイルからクラス名を抽出し、マッピングに基づいてタスクに適した pipeline のサブクラスを選択します。

Update on GitHub

Diffusers

AutoPipeline

from_pipe でタスクを切り替える