Diffusers documentation
VAE Görüntü İşleyici
VAE Görüntü İşleyici
VaeImageProcessor, StableDiffusionPipeline örnekleri için VAE kodlamaya hazırlanacak görüntü girdilerini ve çözümlendikten sonra işlenecek çıktıları yöneten birleşik bir API sağlar. Bu, yeniden boyutlandırma, normalizasyon ve PIL Image, PyTorch ile NumPy dizileri arasında dönüşüm gibi işlemleri içerir.
VaeImageProcessor içeren tüm pipeline'lar, görüntü girdisi olarak PIL Image, PyTorch tensor veya NumPy dizilerini kabul eder ve çıktıları, kullanıcının output_type argümanına göre döndürür. Kodlanmış görüntü latentlerini doğrudan pipeline'a iletebilir ve output_type argümanını kullanarak (örneğin output_type="latent") pipeline'dan latentleri belirli bir çıktı olarak alabilirsiniz. Bu, bir pipeline'dan üretilen latentleri latent uzaydan çıkmadan başka bir pipeline'a girdi olarak iletebilmenizi sağlar. Ayrıca, PyTorch tensorlerini farklı pipeline'lar arasında doğrudan ileterek birden fazla pipeline'ı birlikte kullanmayı çok daha kolay hale getirir.
VaeImageProcessor
sınıf diffusers.VaeImageProcessor
< source >( do_resize: bool = Truevae_scale_factor: int = 8vae_latent_channels: int = 4resample: str = 'lanczos'reducing_gap: int | None = Nonedo_normalize: bool = Truedo_binarize: bool = Falsedo_convert_rgb: bool = Falsedo_convert_grayscale: bool = False )
Parametreler
- do_resize (
bool, isteğe bağlı, varsayılanTrue) — Görüntünün (yükseklik, genişlik) boyutlarınıvae_scale_factor'ün katlarına küçültüp küçültmeyeceğini belirtir. image_processor.VaeImageProcessor.preprocess() metodundanheightvewidthargümanlarını kabul edebilir. - vae_scale_factor (
int, isteğe bağlı, varsayılan8) — VAE ölçek faktörü.do_resizeTrueise, görüntü bu faktörün katlarına otomatik olarak yeniden boyutlandırılır. - resample (
str, isteğe bağlı, varsayılanlanczos) — Görsel yeniden boyutlandırılırken kullanılacak yeniden örnekleme filtresi. - do_normalize (
bool, isteğe bağlı, varsayılanTrue) — Görselin [-1,1] aralığına normalize edilip edilmeyeceği. - do_binarize (
bool, isteğe bağlı, varsayılanFalse) — Görselin 0/1 olarak ikileştirilip ikileştirilmeyeceği. - do_convert_rgb (
bool, isteğe bağlı, varsayılan olarakFalse) — Görsellerin RGB formatına dönüştürülüp dönüştürülmemesi. - do_convert_grayscale (
bool, isteğe bağlı, varsayılan olarakFalse) — Görüntülerin gri tonlamalı formata dönüştürülüp dönüştürülmemesi.
VAE için görüntü işleyici.
apply_overlay
< source >( mask: Imageinit_image: Imageimage: Imagecrop_coords: tuple[int, int, int, int] | None = None ) → PIL.Image.Image
Parametreler
- mask (
PIL.Image.Image) — Üstlenecek bölgeleri vurgulayan maske görüntüsü. - init_image (
PIL.Image.Image) — Üzerine bindirme uygulanan orijinal görüntü. - image (
PIL.Image.Image) — Orijinelin üzerine bindirilecek görüntü. - crop_coords (
tuple[int, int, int, int], isteğe bağlı) — Görseli kırpacak koordinatlar. Verilirse, görsel buna göre kırpılır.
Dönüş değeri
PIL.Image.Image
Katman uygulanan son görüntü.
Orijinal görüntünün üzerine maske ve inpainting yapılmış görüntünün bir örtüsünü uygular.
binarize
< source >( image: Image ) → PIL.Image.Image
Bir maske oluşturun.
bulanıklaştır
< source >( image: Imageblur_factor: int = 4 ) → PIL.Image.Image
Bir görüntüye Gauss bulanıklığı uygular.
convert_to_grayscale
< source >( image: Image ) → PIL.Image.Image
Verilen bir PIL görüntüsünü gri tonlamaya dönüştürür.
convert_to_rgb
< source >( image: Image ) → PIL.Image.Image
Bir PIL görüntüsünü RGB formatına dönüştürür.
denormalize
< source >( images: typing.Union[numpy.ndarray, torch.Tensor] ) → np.ndarray or torch.Tensor
Bir görüntü dizisini [0,1] aralığına normalleştirmeyin.
get_crop_region
< source >( mask_image: Imagewidth: intheight: intpad = 0 ) → tuple
Parametreler
- mask_image (PIL.Image.Image) — Maske görüntüsü.
- width (int) — İşlenecek görüntünün genişliği.
- height (int) — İşlenecek görüntünün yüksekliği.
- pad (int, isteğe bağlı) — Kesim bölgesine eklenecek dolgu. Varsayılan değer 0'dır.
Dönüş değeri
tuple
(x1, y1, x2, y2), bir görüntüdeki tüm maskelenmiş alanları içeren ve orijinal en-boy oranıyla eşleşen dikdörtgen bir bölgeyi temsil eder.
Görseldeki tüm maskelenmiş alanları içeren dikdörtgen bir bölgeyi bulur ve bölgeyi orijinal görselin en-boy oranıyla eşleştirecek şekilde genişletir; örneğin, kullanıcı 128x32 boyutlarında bir bölgede maske çizdiyse ve işleme boyutları 512x512 ise, bölge 128x128 boyutlarına genişletilir.
get_default_height_width
< source >( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor]height: int | None = Nonewidth: int | None = None ) → tuple[int, int]
Parametreler
- image (
PIL.Image.Image | np.ndarray | torch.Tensor) — Girdi olarak bir PIL görüntüsü, NumPy dizisi veya PyTorch tensörü olabilir. NumPy dizisi ise[batch, height, width]veya[batch, height, width, channels]biçiminde olmalıdır. PyTorch tensörü ise[batch, channels, height, width]biçiminde olmalıdır. - height (
int | None, isteğe bağlı, varsayılanNone) — Ön işlenmiş görüntünün yüksekliği.Noneise,imagegirdisinin yüksekliği kullanılır. - width (
int | None, isteğe bağlı, varsayılanNone) — Ön işlenmiş görüntünün genişliği.Noneise,imagegirdisinin genişliği kullanılır.
Dönüş değeri
tuple[int, int]
Yükseklik ve genişliği içeren bir demet; her ikisi de vae_scale_factor'un en yakın tam sayı katına yeniden boyutlandırılmıştır.
Görselin yüksekliğini ve genişliğini, vae_scale_factor'ın bir sonraki tam sayı katına ölçeklenmiş olarak döndürür.
normalize
< source >( images: typing.Union[numpy.ndarray, torch.Tensor] ) → np.ndarray or torch.Tensor
Bir görüntü dizisini [-1,1] aralığına normalize edin.
numpy_to_pil
< source >( images: ndarray ) → list[PIL.Image.Image]
Bir numpy görüntüsünü veya görüntü grubunu bir PIL görüntüsüne dönüştürür.
numpy_to_pt
< source >( images: ndarray ) → torch.Tensor
Bir NumPy görüntüsünü PyTorch tensörüne dönüştürün.
pil_to_numpy
< source >( images: list[PIL.Image.Image] | PIL.Image.Image ) → np.ndarray
Bir PIL görüntüsünü veya PIL görüntüsü listesini NumPy dizilerine dönüştürür.
postprocess
< source >( image: Tensoroutput_type: str = 'pil'do_denormalize: list[bool] | None = None ) → PIL.Image.Image, np.ndarray or torch.Tensor
Parametreler
- image (
torch.Tensor) — Girdi görüntüsü,B x C x H x Wbiçiminde bir pytorch tensörü olmalıdır. - output_type (
str, isteğe bağlı, varsayılanpil) — Görüntünün çıktı türü,pil,np,pt,latentdeğerlerinden biri olabilir. - do_denormalize (
list[bool], isteğe bağlı, varsayılanNone) — Görselin [0,1] aralığına denormalize edilip edilmeyeceğini belirtir.Noneise,VaeImageProcessoryapılandırmasındakido_normalizedeğeri kullanılır.
Dönüş değeri
PIL.Image.Image, np.ndarray veya torch.Tensor
İşlem sonrası görüntü.
Görsel çıktısını tensörden output_type biçimine dönüştürün.
ön işleme
< source >( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]height: int | None = Nonewidth: int | None = Noneresize_mode: str = 'default'crops_coords: tuple[int, int, int, int] | None = None ) → torch.Tensor
Parametreler
- image (
PipelineImageInput) — Girdi görüntüsü; kabul edilen biçimler PIL görüntüleri, NumPy dizileri, PyTorch tensörleridir; Desteklenen biçimlerin listesi de kabul edilir. - height (
int, isteğe bağlı) — Ön işlenmiş görüntüdeki yükseklik.Noneise, varsayılan yüksekliği almak içinget_default_height_width()kullanılır. - width (
int, isteğe bağlı) — Ön işlenmiş genişlik.Noneise, varsayılan genişliği almak için get_default_height_width()` kullanılır. - resize_mode (
str, isteğe bağlı, varsayılandefault) — Yeniden boyutlandırma modu,defaultveyafilldeğerlerinden biri olabilir.defaultseçilirse, görüntü belirtilen genişlik ve yüksekliğe sığacak şekilde yeniden boyutlandırılır ve orijinal en-boy oranı korunmayabilir.fillseçilirse, görüntü en-boy oranını koruyarak belirtilen genişlik ve yüksekliğe sığacak şekilde yeniden boyutlandırılır, ardından boyutlar içinde ortalanır ve boşluklar görüntü verisiyle doldurulur.cropseçilirse, görüntü en-boy oranını koruyarak belirtilen genişlik ve yüksekliğe sığacak şekilde yeniden boyutlandırılır, ardından boyutlar içinde ortalanır ve fazlalık kesilir.fillvecropresize_mode değerlerinin yalnızca PIL görüntü girdisi için desteklendiğini unutmayın. - crops_coords (
list[tuple[int, int, int, int]], isteğe bağlı, varsayılanNone) — Toplu işlemdeki her bir görüntü için kırpma koordinatları.Noneise görüntü kırpılmaz.
Dönüş değeri
torch.Tensor
Ön işlenmiş görüntü.
Görsel girdisini ön işleme tabi tutun.
pt_to_numpy
< source >( images: Tensor ) → np.ndarray
Bir PyTorch tensörünü NumPy görüntüsüne dönüştürün.
boyutlandır
< source >( image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor]height: intwidth: intresize_mode: str = 'default' ) → PIL.Image.Image, np.ndarray or torch.Tensor
Parametreler
- image (
PIL.Image.Image,np.ndarrayveyatorch.Tensor) — Görsel girdisi; bir PIL görseli, numpy dizisi veya pytorch tensörü olabilir. - height (
int) — Büyüklüğünün yeniden ayarlanacağı yükseklik. - width (
int) — Yeniden boyutlandırılacak genişlik. - resize_mode (
str, isteğe bağlı, varsayılandefault) — Kullanılacak yeniden boyutlandırma modu,defaultveyafillolabilir.defaultise, görüntü belirtilen genişlik ve yüksekliğe sığacak şekilde yeniden boyutlandırılır ve orijinal en-boy oranı korunmayabilir.fillise, görüntü en-boy oranını koruyarak belirtilen genişlik ve yüksekliğe sığacak şekilde yeniden boyutlandırılır, ardından boyutlar içinde ortalanır ve boşluklar görüntü verisiyle doldurulur.cropise, görüntü en-boy oranını koruyarak belirtilen genişlik ve yüksekliğe sığacak şekilde yeniden boyutlandırılır, ardından boyutlar içinde ortalanır ve fazlalık kırpılır.fillvecropresize_mode değerlerinin yalnızca PIL görüntü girdisi için desteklendiğini unutmayın.
Dönüş değeri
PIL.Image.Image, np.ndarray veya torch.Tensor
Yeniden boyutlandırılmış görüntü.
Görseli yeniden boyutlandırın.
InpaintProcessor
InpaintProcessor, mask ve image girdilerini kabul eder ve bunları birlikte işler. İsteğe bağlı olarak padding_mask_crop kabul edebilir ve mask overlay uygulayabilir.
sınıf diffusers.InpaintProcessor
< source >( do_resize: bool = Truevae_scale_factor: int = 8vae_latent_channels: int = 4resample: str = 'lanczos'reducing_gap: int | None = Nonedo_normalize: bool = Truedo_binarize: bool = Falsedo_convert_grayscale: bool = Falsemask_do_normalize: bool = Falsemask_do_binarize: bool = Truemask_do_convert_grayscale: bool = True )
Görsel ve maske için inpainting görsel işleyicisi.
postprocess
< source >( image: Tensoroutput_type: str = 'pil'original_image: PIL.Image.Image | None = Noneoriginal_mask: PIL.Image.Image | None = Nonecrops_coords: tuple[int, int, int, int] | None = None )
Görseli son işlemeye tabi tutun, isteğe bağlı olarak maske bindirmesi uygulayın
ön işleme
< source >( image: Imagemask: PIL.Image.Image | None = Noneheight: int | None = Nonewidth: int | None = Nonepadding_mask_crop: int | None = None )
Görseli ve maskesini ön işleme tabi tutun.
VaeImageProcessorLDM3D
VaeImageProcessorLDM3D, RGB ve derinlik girdilerini kabul eder ve RGB ile derinlik çıktıları döndürür.
sınıf diffusers.VaeImageProcessorLDM3D
< source >( do_resize: bool = Truevae_scale_factor: int = 8resample: str = 'lanczos'do_normalize: bool = True )
Parametreler
- do_resize (
bool, isteğe bağlı, varsayılanTrue) — Görüntünün (yükseklik, genişlik) boyutlarınınvae_scale_factor'ün katlarına küçültülüp küçültülmemesi. - vae_scale_factor (
int, isteğe bağlı, varsayılan8) — VAE ölçek faktörü.do_resizeTrueise, görüntü bu faktörün katlarına otomatik olarak yeniden boyutlandırılır. - resample (
str, isteğe bağlı, varsayılanlanczos) — Görsel yeniden boyutlandırılırken kullanılacak yeniden örnekleme filtresi. - do_normalize (
bool, isteğe bağlı, varsayılanTrue) — Görselin [-1,1] aralığına normalize edilip edilmeyeceği.
VAE LDM3D için görüntü işleyici.
depth_pil_to_numpy
< source >( images: list[PIL.Image.Image] | PIL.Image.Image ) → np.ndarray
Bir PIL görüntüsünü veya PIL görüntüsü listesini NumPy dizilerine dönüştürür.
numpy_to_depth
< source >( images: ndarray ) → list[PIL.Image.Image]
NumPy derinlik görüntüsünü veya görüntü birimini PIL görüntüleri listesine dönüştürür.
numpy_to_pil
< source >( images: ndarray ) → list[PIL.Image.Image]
Bir NumPy görüntüsünü veya görüntü grubunu PIL görüntüleri listesine dönüştürür.
ön işleme
< source >( rgb: typing.Union[torch.Tensor, PIL.Image.Image, numpy.ndarray]depth: typing.Union[torch.Tensor, PIL.Image.Image, numpy.ndarray]height: int | None = Nonewidth: int | None = Nonetarget_res: int | None = None ) → tuple[torch.Tensor, torch.Tensor]
Parametreler
- rgb (
torch.Tensor | PIL.Image.Image | np.ndarray) — Tek bir görüntü veya bir parti olabilecek RGB giriş görüntüsü. - depth (
torch.Tensor | PIL.Image.Image | np.ndarray) — Derinlik giriş görüntüsü; tek bir görüntü veya bir parti olabilir. - height (
int | None, isteğe bağlı, varsayılanNone) — İşlenmiş görüntünün istenen yüksekliği.Noneise, girdi görüntüsünün yüksekliği kullanılır. - width (
int | None, isteğe bağlı, varsayılanNone) — İşlenmiş görüntünün istenen genişliği.Noneise, girdi görüntüsünün genişliği kullanılır. - target_res (
int | None, isteğe bağlı, varsayılanNone) — Görselleri yeniden boyutlandırma için hedef çözünürlük. Belirtilirse, height ve width değerlerini geçersiz kılar.
Dönüş değeri
tuple[torch.Tensor, torch.Tensor]
İşlenmiş RGB ve derinlik görüntülerini PyTorch tensörleri olarak içeren bir demet.
Girdi görüntüsünü ön işleme. Kabul edilen biçimler PIL görüntüleri, NumPy dizileri veya PyTorch tensörleridir.
RGB benzeri bir derinlik görüntüsünü derinlik haritasına dönüştürür.
PixArtImageProcessor
sınıf diffusers.PixArtImageProcessor
< source >( do_resize: bool = Truevae_scale_factor: int = 8resample: str = 'lanczos'do_normalize: bool = Truedo_binarize: bool = Falsedo_convert_grayscale: bool = False )
Parametreler
- do_resize (
bool, isteğe bağlı, varsayılanTrue) — Görüntünün (yükseklik, genişlik) boyutlarınıvae_scale_factor'ün katlarına küçültüp küçültmeyeceğini belirtir. image_processor.VaeImageProcessor.preprocess() metodundanheightvewidthargümanlarını kabul edebilir. - vae_scale_factor (
int, isteğe bağlı, varsayılan8) — VAE ölçek faktörü.do_resizeTrueise, görüntü bu faktörün katlarına otomatik olarak yeniden boyutlandırılır. - resample (
str, isteğe bağlı, varsayılanlanczos) — Görsel yeniden boyutlandırılırken kullanılacak yeniden örnekleme filtresi. - do_normalize (
bool, isteğe bağlı, varsayılanTrue) — Görselin [-1,1] aralığına normalize edilip edilmeyeceği. - do_binarize (
bool, isteğe bağlı, varsayılanFalse) — Görselin 0/1 olarak ikileştirilip ikileştirilmeyeceği. - do_convert_rgb (
bool, isteğe bağlı, varsayılan olarakFalse) — Görsellerin RGB formatına dönüştürülüp dönüştürülmemesi. - do_convert_grayscale (
bool, isteğe bağlı, varsayılan olarakFalse) — Görüntülerin gri tonlamalı formata dönüştürülüp dönüştürülmemesi.
PixArt görüntü yeniden boyutlandırma ve kırpma işlemi için görüntü işleyici.
classify_height_width_bin
< source >( height: intwidth: intratios: dict ) → tuple[int, int]
En-boy oranına göre binned yükseklik ve genişliği döndürür.
resize_and_crop_tensor
< source >( samples: Tensornew_width: intnew_height: int ) → torch.Tensor
Parametreler
- samples (
torch.Tensor) — N'nin batch boyutu, C'nin kanal sayısı, H'nin yükseklik ve W'nin genişlik olduğu (N, C, H, W) biçiminde bir tensör. - new_width (
int) — Çıktı görüntülerinin istenen genişliği. - new_height (
int) — Çıktı görüntülerinin istenen yüksekliği.
Dönüş değeri
torch.Tensor
Yeniden boyutlandırılmış ve kırpılmış görüntüler içeren bir tensör.
Görsellerin tensörünü belirtilen boyutlara yeniden boyutlandırır ve kırpma yapar.
IPAdapterMaskProcessor
sınıf diffusers.IPAdapterMaskProcessor
< source >( do_resize: bool = Truevae_scale_factor: int = 8resample: str = 'lanczos'do_normalize: bool = Falsedo_binarize: bool = Truedo_convert_grayscale: bool = True )
Parametreler
- do_resize (
bool, isteğe bağlı, varsayılanTrue) — Görüntünün (yükseklik, genişlik) boyutlarınınvae_scale_factor'ün katlarına küçültülüp küçültülmemesi. - vae_scale_factor (
int, isteğe bağlı, varsayılan8) — VAE ölçek faktörü.do_resizeTrueise, görüntü bu faktörün katlarına otomatik olarak yeniden boyutlandırılır. - resample (
str, isteğe bağlı, varsayılanlanczos) — Görsel yeniden boyutlandırılırken kullanılacak yeniden örnekleme filtresi. - do_normalize (
bool, isteğe bağlı, varsayılanFalse) — Görselin [-1,1] aralığına normalize edilip edilmeyeceği. - do_binarize (
bool, isteğe bağlı, varsayılanTrue) — Görselin 0/1 olarak ikileştirilip ikileştirilmeyeceği. - do_convert_grayscale (
bool, isteğe bağlı, varsayılan olarakTrue) — Görüntülerin gri tonlamalı formata dönüştürülüp dönüştürülmemesi.
IP Adapter görüntü maskeleri için görüntü işleyici.
downsample
< source >( mask: Tensorbatch_size: intnum_queries: intvalue_embed_dim: int ) → torch.Tensor
Ölçekli nokta çarpımı dikkati için beklenen boyutlara uymak üzere sağlanan maske tensörünü indirger. Maske en-boy oranı, çıktı görüntüsünün en-boy oranıyla eşleşmiyorsa bir uyarı verilir.