Veriler

Bu sayfa, timm.data alt paketinin API referans belgelerini ve sağladığı giriş hattının genel bakışını içerir: bir modelin ön işleme yapılandırmasını çözümleme, dönüşümleri oluşturma, veri kümeleri ve yükleyiciler oluşturma, Mixup / CutMix ve NaFlex değişken çözümleme yükleyicisi.

Kullanım

Bir pipeline dört adımda oluşturulur: resolve_model_data_config modelin ön işleme yapılandırmasını okur, create_transform eğitim veya değerlendirme dönüşümünü oluşturur, create_dataset ad ve kök üzerinden bir veri seti oluşturur ve create_loader bir veri seti için dönüşümü ve veri yükleyiciyi oluşturur.

import os
import tempfile

import torch
from PIL import Image

import timm
from timm.data import create_dataset, create_loader, create_transform, resolve_model_data_config

model = timm.create_model('resnet50', pretrained=False).eval()

# Preprocessing config from the model's pretrained_cfg, the default pretrained tag's config is attached to the model
# with or without pretrained weights.
data_config = resolve_model_data_config(model)
print(data_config)
# {'input_size': (3, 224, 224), 'interpolation': 'bicubic', 'mean': (0.485, 0.456, 0.406),
#  'std': (0.229, 0.224, 0.225), 'crop_pct': 0.95, 'crop_mode': 'center'}

# Eval transform for a PIL image, resize to 224 / crop_pct, center crop 224, to tensor and normalize.
transform = create_transform(**data_config, is_training=False)
img = Image.new('RGB', (320, 240), color=(200, 120, 40))
with torch.no_grad():
    output = model(transform(img).unsqueeze(0))  # (1, 1000)

# A folder dataset, <root>/<split>/<class>/<image>, two classes w/ four generated images each.
root = tempfile.mkdtemp()
for i, cls in enumerate(('cat', 'dog')):
    os.makedirs(os.path.join(root, 'validation', cls))
    for j in range(4):
        path = os.path.join(root, 'validation', cls, f'{j}.jpg')
        Image.new('RGB', (300, 200), color=(60 * i, 40 * j, 128)).save(path)

dataset = create_dataset('', root=root, split='validation')  # finds the 'validation' sub-folder
print(len(dataset), dataset.reader.class_to_idx)  # 8 {'cat': 0, 'dog': 1}

# The loader creates the transform from the same config and assigns it to the dataset.
loader = create_loader(dataset, **data_config, batch_size=4, use_prefetcher=False, num_workers=0)
with torch.no_grad():
    for images, targets in loader:
        output = model(images)  # images (4, 3, 224, 224), targets (4,)

Hızlı başlangıç, çıkarım için yapılandırma ve dönüştürme adımlarını adım adım açıklar.

Eğitim betiği (train.py), hattın her bölümü için bu seçenekleri sunar.

Girdi yapılandırması geçersiz kılma (resolve_input_data_config):

--input-size, giriş biçimini (C, H, W) olarak ayarlar.
--img-size, modelin kanal sayısını koruyarak --input-size parametresinin kare kısayoludur.
--in-chans giriş kanallarını ayarlar.
--interpolation yeniden boyutlandırma interpolasyonunu ayarlar.
--mean normalizasyon ortalamasını ayarlar.
--std normalizasyon standart sapmasını ayarlar.
--crop-pct değerlendirme kırpma oranını ayarlar.

Veri seti oluşturma (create_dataset) ve hedef ayarları:

--dataset veri setini ve okuyucuyu seçer.
--data-dir veri seti kök dizinini ayarlar.
--train-split eğitim bölmesini seçer.
--val-split doğrulama bölmesini seçer.
--class-map sınıf eşlemesini sağlar.
--input-img-mode görüntü renk dönüşüm modunu ayarlar.
--input-key görüntü alanını seçer.
--target-key etiket alanını veya alanlarını seçer.
--target-format sınıf endekslerini veya yoğun çoklu-sıcak hedefleri seçer.

Yükleme ve artırma seçenekleri (create_loader) şunları içerir:

--aa otomatik artırma politikasını seçer.
--reprob rastgele silme olasılığını ayarlar.
--remode rastgele silme doldurma modunu seçer.
--scale rastgele yeniden boyutlandırılmış kırpma ölçek aralığını ayarlar.
--ratio rastgele yeniden boyutlandırılmış kırpma en-boy oranı aralığını ayarlar.
--hflip yatay çevirme olasılığını ayarlar.
--color-jitter renk titremesi gücünü ayarlar.
--train-interpolation, eğitim yeniden boyutlandırma interpolasyonunu ayarlar.
--workers yükleyici işçi sayısını belirler.
--no-prefetcher ön yükleyiciyi devre dışı bırakır.

Mixup ve CutMix (Mixup):

--mixup Mixup alfasını ayarlar.
--cutmix, CutMix alfasını ayarlar.
--cutmix-minmax, CutMix kutu boyutu aralığını ayarlar.
--mixup-prob karıştırma olasılığını ayarlar.
--mixup-switch-prob, her iki yöntem etkinleştirildiğinde CutMix'in seçilme olasılığını belirler.
--mixup-mode batch, pair veya element-wise karıştırmayı seçer.
--smoothing etiket yumuşatmasını ayarlar.

Örnekler için Scripts bölümüne bakın.

Veri yapılandırması

resolve_data_config, aşağıdaki anahtarlara sahip bir dict döndürür; bu anahtarlar create_transform ve create_loader argümanlarıyla eşleşir. args (örneğin ayrıştırılmış komut satırı argümanlarının vars(args) ifadesiyle elde edilen bir dict) içinde ayarlanan değerler, varsayılan olarak model.pretrained_cfg olan pretrained_cfg argümanına göre önceliklidir. resolve_model_data_config, modelin ilk argüman olarak geçtiği aynı işlevi görür.

Her ikisi de, kaynak kontrol noktasını tanımlayan, farklı bir img_size veya in_chans kullanmak üzere oluşturulmuş veya değiştirilmiş bir modeli değil, önceden eğitilmiş cfg'den giriş boyutunu ve kanalları okur. Eğitim, doğrulama ve çıkarım betiklerinde kullanılan resolve_input_data_config, bunun yerine modelin mevcut girdisine göre çözümleme yapar: sabit giriş boyutuna sahip bir model her zaman mevcut boyutunu alır, modelin kanalları veya sabit boyutuyla çelişen açık args bir hata yükseltir ve kanal sayısıyla eşleşmeyen bir ortalama / standart sapma, ortalama değeriyle değiştirilir (bir uyarıyla birlikte).

Anahtar	`args` anahtarları	Açıklama	Varsayılan
`input_size`	`input_size`, `img_size`, `in_chans`	`(C, H, W)` giriş boyutu. `use_test_size=True` kullanıldığında, yapılandırmanın `test_input_size` değeri varsa o kullanılır	`(3, 224, 224)`
`interpolation`	`interpolation`	Yeniden boyutlandırma interpolasyonu, `bilinear`, `bicubic`, …	`bicubic`
`mean`, `std`	`mean`, `std`	Normalization, her kanal için tek bir değer tekrarlanır	ImageNet ortalama / std
`crop_pct`	`crop_pct`	Eval crop, görüntü `size` boyutuna kırpılmadan önce `size / crop_pct` boyutuna yeniden boyutlandırılır (`use_test_size=True` ile `test_crop_pct`)	`0.875`
`crop_mode`	`crop_mode`	Değerlendirme kırpma modu, `center`, `squash` veya `border`	`center`

Çıktı size ve scale_size = floor(size / crop_pct) için değerlendirme kırpma modları:

`crop_mode`	Davranış
`center`	En kısa kenarı `scale_size` boyutuna yeniden boyutlandırın (en-boy oranı korunur), ardından `size` boyutunda ortadan kırpın
`squash`	Her iki kenarı `scale_size` boyutuna yeniden boyutlandırın (en-boy oranı korunmaz), ardından `size` boyutuna ortadan kırpın
`border`	En uzun kenarı `scale_size` boyutuna yeniden boyutlandırın, ortadan kırpın ve ortalama renkle doldurun; tüm görüntü `crop_pct=1.0` olarak korunur

Dönüşümler

create_transform, torchvision Compose nesnesi döndürür. Değerlendirme dönüştürme işlemi, yukarıda belirtildiği gibi yeniden boyutlandırma ve kırpma yapar, ardından girdiyi tensöre dönüştürüp normalleştirir. Eğitim dönüştürme işlemi ise rastgele yeniden boyutlandırılmış kırpma (varsayılan olarak scale=(0.08, 1.0), ratio=(3/4, 4/3)), yatay çevirme (hflip=0.5), renk sapması (color_jitter=0.4), isteğe bağlı auto_augment politikası, tensör dönüşümü ve normalleştirme ile rastgele silme işlemlerini içerir.

train_crop_mode='rkrc' veya 'rkrr', rastgele yeniden boyutlandırılmış kırpma yerine en-boy oranını koruyan bir rastgele yeniden boyutlandırmayı, ardından merkezden (rkrc) veya rastgele (rkrr) kırpma veya dolgu işlemini uygular.
interpolation='random' (eğitim için train.py varsayılanı) her görsel için bilineer veya bikübik seçer.
no_aug=True eğitim sürecini yalnızca yeniden boyutlandırma ve merkezden kırpma işlemlerine indirger.

`auto_augment`	Artırma
`rand-m9-mstd0.5-inc1`	`RandAugment` ile `rand_augment_transform`
`augmix-m5-w4-d2`	AugMix, `augment_and_mix_transform` ile
`original`, `originalr`, `v0`, `v0r`, `3a`	AutoAugment politikası, `auto_augment_transform` ile

RandAugment seçenek belirteçleri:

m büyüklüğü ayarlar (varsayılan 10).
n, görüntü başına işlem sayısını belirler (varsayılan 2).
p, işlem başına olasılığı ayarlar (varsayılan 0.5).
mstd büyüklük gürültüsü standart sapmasını ayarlar.
inc1, büyüklükle birlikte şiddeti artan işlemleri seçer.
t<name>, op set'ini seçer (weights, 3a, 3aw).

AugMix seçenek jetonları:

m önem derecesini ayarlar (varsayılan 3).
w genişliği ayarlar (varsayılan 3).
d derinliği ayarlar (varsayılan -1, rastgele 1-3).
b1 karışık artırma (blended augmentation) etkinleştirir.
mstd büyüklük gürültüsü standart sapmasını ayarlar.

AutoAugment, mstd değerlerini kabul eder, örneğin original-mstd0.5.

Dönüştür davranışı:

auto_augment ayarlandığında renk sapması devre dışı bırakılır, ancak dize 3a içermediği sürece.
RandomErasing (re_prob, re_count) normalize edilmiş tensör üzerinde çalışır. re_mode sıfırlarla doldurur (const, varsayılan), bölge başına rastgele normal bir renk (rand) veya rastgele normal pikseller (pixel, train.py varsayılanı).
use_prefetcher=True, dönüştürmeyi uint8 tensörüyle sonlandırır; normalizasyon ve rastgele silme işlemleri ardından yükleyici tarafından cihaz üzerinde yapılır.
create_transform ve create_loader, modelin değerleri yerine varsayılan olarak bilinear interpolasyon ve ImageNet ortalama / standart sapma değerlerini kullanır. Modelin ön eğitimiyle eşleşmesi için çözümlenmiş veri yapılandırmasını iletin.

Veri Setleri

create_dataset, name önekininden veri seti uygulamasını ve okuyucuyu seçer:

`name`	Veri seti	`root`	Gereksinimler
`''` veya önek yok	`ImageDataset`, sınıf alt klasörlerindeki görüntüler (özyinelemeli olarak aranır, yaprak klasör adı sınıfı belirtir) veya aynı yapıya sahip tek bir `.tar` dosyası	Veri kümesi klasörü veya `.tar` dosyası
`torch/<name>`	torchvision `cifar10`, `cifar100`, `mnist`, `kmnist`, `fashion_mnist`, `qmnist`, `inaturalist` (`inat`), `places365`, `imagenet` veya `image_folder` (`folder`)	torchvision veri seti kökü
`hfds/<name>`	Hugging Face Hub veri setinde (veya yerel yolda) `datasets.load_dataset` ile `ImageDataset`	Önbellek dizini (isteğe bağlı)	`datasets`
`hfids/<name>`	`IterableImageDataset`, Hugging Face veri seti, akış olarak veya `download=True` ile önce indirilip hazırlanarak	Önbellek dizini (isteğe bağlı)	`datasets`
`tfds/<name>`	TensorFlow Datasets'te `IterableImageDataset`, `download=True` ile indirir ve oluşturur	TFDS veri dizini	`tensorflow`, `tensorflow-datasets`
`wds/<name>`	WebDataset tar shard'larında `IterableImageDataset`	`_info.json` (veya `info.json`) içeren, bölümleri (splits) açıklayan Shard klasörü	`webdataset`

Veri seti seçenekleri:

split veri seti bölmesini seçer (varsayılan validation). WebDataset için örnek sayısı içeren bir shard deseni de olabilir: 'imagenet-train-{0000..1023}.tar|1281167'.
search_split=True (varsayılan), klasör veri kümelerinin root içinde split adlı alt klasörü aramasını sağlar; bu bulunamazsa, bir eğitim (train, training) veya değerlendirme (val, valid, validation, eval, evaluation) bölümünün eş anlamlısını arar.
add_img_extensions, varsayılan görüntü uzantılarına (.png, .jpg ve .jpeg) ekler.
class_map, bir sözlük, bir .txt (satır başına bir sınıf) veya bir .pkl dosyası kullanarak sınıf adlarını indekslere yeniden eşler.

Yinelenebilir veri kümeleri (hfids, tfds, wds) ayrıca şunları alır:

is_training karıştırma işlevini etkinleştirir.
batch_size, eğitim sırasında her işçinin örnek payını tam partilere yuvarlar.
num_samples, okuyucunun örnek sayısını belirleyemediği durumlarda (hfids bölünme bilgisi olmadan) zorunlu olan örnek sayısını ayarlar.
seed rastgele tohumu ayarlar.
repeats, epoch başına örnek sayısını çarpar; okuyucular verinin üzerinden o kadar kez geçer.

Her epoch'ta yeniden karıştırmak için dataset.set_epoch() çağrısı yapın.

Diğer anahtar kelime argümanları okuyucuya aktarılır. Hugging Face, TFDS ve WebDataset okuyucuları için:

input_key, görüntü alanını seçer (varsayılan olarak image, wds için jpg, png veya webp görüntüsü).
target_key, etiket alanını seçer (varsayılan olarak label, wds için .cls dosyası veya target_key ile adlandırılan bir .json yan dosya alanı). Virgülle ayrılmış bir değer, sınıf başına bir ikili alan okur.
target_format='multihot', çok etiketli verilerde sınıf endeksleri listeleri yerine yoğun çoklu-sıcak (multi-hot) vektörleri okur.
target_transform=MultiLabelTarget(num_classes), hedefleri float çoklu-sıcak tensörler olarak kodlar. Çoklu-sıcak alanlar için MultiLabelTarget parametresine dense=True iletin.

Klasör ve tar okuyucuları tek sınıf dizinleri üretir. Ayrıntılar için çok etiketli sınıflandırma bölümüne bakın.

Yükleyiciler

create_loader, kendi argümanlarından create_transform ile dönüştürmeyi oluşturur, bunu dataset.transform olarak atar (mevcut bir dönüştürme varsa onu değiştirir) ve bir DataLoader döndürür. Eğitim yükleyicileri (is_training=True) karıştırır ve son eksik batch'i atar.

Önden yükleyici (Prefetcher). use_prefetcher=True (varsayılan) olduğunda veri kümesi uint8 tensörleri üretir, partiler device (varsayılan cuda, CUDA için yan bir akışta) üzerine taşınır, img_dtype türüne dönüştürülür, normalize edilir ve orada rastgele silme (erasing) uygulanır. device değerini eğitim cihazına ayarlayın veya normalize edilmiş tensörlerden oluşan düz bir DataLoader için use_prefetcher=False kullanın.
Dağıtık. distributed=True, map tarzı eğitim veri kümeleri için DistributedSampler (veya num_aug_repeats ile tekrarlı artırma örnekleyici) ve her işlemi aynı örnek sayısına yastıklayan, doğrulama sonuçlarını hafifçe değiştirebilen sıralı bir örnekleyici kullanır. İteratif veri kümeleri, kendilerini işlemler ve işçiler arasında paylaştırır.
Collate. collate_fn, varsayılanı (prefetcher ile fast_collate, olmadan default_collate) yerine geçer, örneğin FastCollateMixup ile.
Artırma bölümleri. JSD kaybı ile AugMix için (--aug-splits), veri setini AugMixDataset(dataset, num_splits=n) ile sarmalayın ve num_aug_splits=n parametresini iletin. Her batch, temiz bir bölüm ve n - 1 artırılmış bölüm içerir; bunlar prefetcher tarafından batch boyutu boyunca birleştirilir.
Planlı çözünürlük. input_size_choices (--train-img-sizes), her batch için giriş boyutunu seçer; isteğe bağlı olarak her seçim için bir batch boyutu (batch_size_choices) ve ilk seçimden son seçime kadar bir progressive zaman çizelgesi ile.

Mixup ve CutMix

Mixup, yükleyiciden sonra cihazda normalize edilmiş görüntü partisini karıştırır. FastCollateMixup aynı argümanları alır ve yükleyici işçilerinde birleştirme sırasında uint8 görüntüleri karıştırır; bunun için ön yükleyici (prefetcher) gereklidir. Her ikisi de timm.loss.SoftTargetCrossEntropy gibi yumuşak hedef kaybı ile kullanılmak üzere, label_smoothing (varsayılan 0.1) uygulanmış yoğun (batch_size, num_classes) hedefleri döndürür ve çift sayı bir parti boyutu gerektirir.

from timm.data import Mixup, FastCollateMixup

# Continuing the example above.
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
mixup_args = dict(mixup_alpha=0.8, cutmix_alpha=1.0, label_smoothing=0.1, num_classes=1000)

# Prefetcher enabled (default), mixed in the loader's collate.
loader = create_loader(
    dataset,
    **data_config,
    batch_size=4,
    is_training=True,
    collate_fn=FastCollateMixup(**mixup_args),
    device=device,
)
for images, targets in loader:
    ...  # images normalized on device, targets (4, 1000)

# Prefetcher disabled, mixed in the training loop.
loader = create_loader(dataset, **data_config, batch_size=4, is_training=True, use_prefetcher=False)
mixup_fn = Mixup(**mixup_args)
for images, targets in loader:
    images, targets = mixup_fn(images.to(device), targets.to(device))

Mixup ve CutMix kontrolleri:

mixup_alpha > 0 Mixup'ı etkinleştirir.
cutmix_alpha > 0 CutMix'i etkinleştirir.
cutmix_minmax, bir kutu boyutu aralığı ile CutMix'i etkinleştirir.
switch_prob, her iki yöntem etkinleştirildiğinde CutMix'in seçilme olasılığını belirler.
prob karıştırma olasılığını belirler.
mode, parametreleri batch başına bir kez, pair (çift) başına veya elem (öğe) başına çizer.
multi_label=True, yoğun çok etiketli hedefleri karıştırır ve her etiketi 0.5'e doğru yumuşatır.
mixup_enabled = False karıştırmayı kapatır, örneğin son dönemler için (--mixup-off-epoch). FastCollateMixup için bu değer işçi süreçlerinde okunur; kalıcı işçiler, başladıkları değeri korur.

NaFlex değişken çözünürlük

create_naflex_loader, NaFlex yama girdileri alan modeller (ör. naflexvit_* modelleri) için görüntüleri sabit kare boyutuna yeniden boyutlandırmadan, değişken uzunlukta yama dizileri olarak yükler. Her toplu işlem, patches, patch_coord, patch_valid ve seq_len anahtarlarından oluşan bir sözlüktür ve toplu işlemin dizgi uzunluğuna kadar dolgu yapılır.

Eğitim. Veri kümesi, NaFlexMapDatasetWrapper ile sarılır (yalnızca map-style veri kümeleri için); bu sarmalayıcı her batch için train_seq_lens listesinden birini seçer ve her görüntüyü o kadar patch'e sığacak şekilde rastgele yeniden boyutlandırır ve kırpılır. batch_size, en uzun dizi uzunluğu için batch boyutudur; daha kısa uzunluklar, batch başına token sayısının yaklaşık olarak sabit kalması için orantılı olarak daha büyük batch'lere sahip olur (8'in katına yuvarlanır). patch_size_choices (patch_size_choice_probs ile birlikte), destekleyen modeller için patch boyutunu da batch başına değiştirir.
Değerlendirme. Görseller, verilen patch_size ile (değerlendirme için zorunludur) max_seq_len yamaya sığacak şekilde yeniden boyutlandırılır ve max_seq_len değerine kadar dolgu yapılır.
Mixup. mixup_fn olarak NaFlexMixup geçirin; bu, her batch içinde karıştırma yapar ve mode veya cutmix_minmax parametrelerini desteklemez.

train.py seçenekleri şunlardır:

--naflex-loader NaFlex yükleyicisini etkinleştirir.
--naflex-train-seq-lens eğitim dizisi uzunluklarını ayarlar.
--naflex-max-seq-len en yüksek değerlendirme dizisi uzunluğunu ayarlar.
--naflex-patch-sizes, değişken yama boyutlu eğitim için yama boyutlarını ayarlar.
--naflex-patch-size-probs, bu yama boyutları için olasılıkları ayarlar.
--naflex-loss-scale, parti boyutuna göre kayıp ölçeklemesini seçer (none, sqrt veya linear).

timm

Veriler

Kullanım

Veri yapılandırması

Dönüşümler

Veri Setleri

Yükleyiciler

Mixup ve CutMix

NaFlex değişken çözünürlük

API

Veri yapılandırması

timm.data.resolve_data_config

timm.data.resolve_model_data_config

timm.data.resolve_input_data_config

Dönüşümler

timm.data.create_transform

timm.data.rand_augment_transform

timm.data.auto_augment_transform

timm.data.auto_augment.augment_and_mix_transform

sınıf timm.data.random_erasing.RandomErasing

Veri Setleri

timm.data.create_dataset

sınıf timm.data.ImageDataset

sınıf timm.data.IterableImageDataset

sınıf timm.data.AugMixDataset

sınıf timm.data.MultiLabelTarget

Yükleyiciler

timm.data.create_loader

Mixup ve CutMix

sınıf timm.data.Mixup

sınıf timm.data.FastCollateMixup

NaFlex

timm.data.create_naflex_loader

sınıf timm.data.NaFlexMapDatasetWrapper

set_epoch

sınıf timm.data.NaFlexMixup

set_epoch