Hugging Face's logo

Transformers documentation

Pencatatan

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Pencatatan

🤗 Transformers memiliki sistem log terpusat, sehingga Anda dapat mengatur tingkat detail (verbosity) pustaka dengan mudah.

Saat ini, tingkat detail (verbosity) bawaan pustaka adalah WARNING.

Untuk mengubah tingkat detail, cukup gunakan salah satu setter langsung. Misalnya, berikut adalah cara mengubah tingkat detail ke level INFO.

import transformers

transformers.logging.set_verbosity_info()

Anda juga dapat menggunakan variabel lingkungan TRANSFORMERS_VERBOSITY untuk menimpa tingkat detail default. Anda dapat menyetelnya ke salah satu dari berikut: debug, info, warning, error, critical, fatal. Sebagai contoh:

TRANSFORMERS_VERBOSITY=error ./myprogram.py

Selain itu, beberapa warnings dapat dinonaktifkan dengan mengatur variabel lingkungan TRANSFORMERS_NO_ADVISORY_WARNINGS ke nilai true, seperti 1. Hal ini akan menonaktifkan peringatan apa pun yang dicatat menggunakan logger.warning_advice. Sebagai contoh:

TRANSFORMERS_NO_ADVISORY_WARNINGS=1 ./myprogram.py

Berikut adalah contoh cara menggunakan logger yang sama seperti pustaka di modul atau skrip Anda sendiri:

from transformers.utils import logging

logging.set_verbosity_info()
logger = logging.get_logger("transformers")
logger.info("INFO")
logger.warning("WARN")

Semua metode dari modul logging ini didokumentasikan di bawah ini, yang utama adalah logging.get_verbosity() untuk mendapatkan tingkat verbosity saat ini di logger dan logging.set_verbosity() untuk mengatur verbosity ke tingkat pilihan Anda. Secara berurutan (dari yang paling sedikit verbose hingga yang paling verbose), tingkat-tingkat tersebut (dengan nilai int yang sesuai dalam tanda kurung) adalah:

  • transformers.logging.CRITICAL atau transformers.logging.FATAL (nilai int, 50): hanya laporkan kesalahan yang paling kritis.
  • transformers.logging.ERROR (nilai int, 40): hanya laporkan kesalahan.
  • transformers.logging.WARNING atau transformers.logging.WARN (nilai int, 30): hanya melaporkan error dan peringatan. Ini adalah level default yang digunakan oleh pustaka.
  • transformers.logging.INFO (nilai int, 20): melaporkan error, peringatan, dan informasi dasar.
  • transformers.logging.DEBUG (nilai int, 10): laporkan semua informasi.

Secara default, bilah progres tqdm akan ditampilkan selama unduhan model. logging.disable_progress_bar() dan logging.enable_progress_bar() dapat digunakan untuk menekan atau mengaktifkan kembali perilaku ini.

logging vs warnings

Python memiliki dua sistem logging yang sering digunakan bersamaan: logging, yang dijelaskan di atas, dan warnings, yang memungkinkan klasifikasi lebih lanjut dari peringatan ke dalam kategori tertentu, misalnya FutureWarning untuk fitur atau jalur yang sudah tidak didukung lagi dan DeprecationWarning untuk menunjukkan rencana penghentian dukungan di masa depan.

Kami menggunakan keduanya di pustaka transformers. Kami memanfaatkan dan mengadaptasi metode captureWarnings dari logging untuk memungkinkan pengelolaan pesan peringatan ini oleh setter verbosity di atas.

Apa artinya bagi pengembang pustaka? Kita harus menghormati heuristik berikut:

  • warnings sebaiknya digunakan oleh pengembang pustaka dan pustaka yang bergantung pada transformers
  • logging sebaiknya digunakan oleh pengguna akhir dari pustaka ini dalam proyek-proyek sehari-hari

Lihat referensi metode captureWarnings di bawah ini.

transformers.utils.logging.captureWarnings

< >

( capture )

Memanggil metode captureWarnings dari pustaka logging untuk memungkinkan pengelolaan peringatan yang dipancarkan oleh pustaka warnings.

Baca lebih lanjut tentang metode ini di sini: https://docs.python.org/3/library/logging.html#integration-with-the-warnings-module

Semua peringatan akan dicatat melalui logger py.warnings.

Hati-hati: metode ini juga menambahkan handler ke logger ini jika belum ada, dan memperbarui level logging logger tersebut ke logger root pustaka.

Setter dasar

transformers.utils.logging.set_verbosity_error

< >

( )

Atur tingkat verbosity ke level ERROR.

transformers.utils.logging.set_verbosity_warning

< >

( )

Atur tingkat verbosity ke level WARNING.

transformers.utils.logging.set_verbosity_info

< >

( )

Atur tingkat verbosity ke level INFO.

transformers.utils.logging.set_verbosity_debug

< >

( )

Atur tingkat verbosity ke level DEBUG.

Fungsi lainnya

transformers.utils.logging.get_verbosity

< >

( ) → int

Mengembalikan

int

Tingkat pencatatan log.

Kembalikan level saat ini untuk logger root 🤗 Transformers sebagai int.

🤗 Transformers memiliki level log berikut:

  • 50: transformers.logging.CRITICAL atau transformers.logging.FATAL
  • 40: transformers.logging.ERROR
  • 30: transformers.logging.WARNING atau transformers.logging.WARN
  • 20: transformers.logging.INFO
  • 10: transformers.logging.DEBUG

transformers.utils.logging.set_verbosity

< >

( verbosity: int )

Parameter

  • verbosity (int) — Tingkat log, misalnya salah satu dari:
    • transformers.logging.CRITICAL atau transformers.logging.FATAL
    • transformers.logging.ERROR
    • transformers.logging.WARNING atau transformers.logging.WARN
    • transformers.logging.INFO
    • transformers.logging.DEBUG

Atur tingkat kecermatan untuk logger akar 🤗 Transformers.

transformers.utils.logging.get_logger

< >

( name: str | None = None )

Kembalikan logger dengan nama yang ditentukan.

Fungsi ini tidak dimaksudkan untuk diakses secara langsung kecuali Anda sedang menulis modul transformers kustom.

transformers.utils.logging.enable_default_handler

< >

( )

Aktifkan handler default dari root logger HuggingFace Transformers.

transformers.utils.logging.disable_default_handler

< >

( )

Nonaktifkan handler default dari root logger HuggingFace Transformers.

transformers.utils.logging.enable_explicit_format

< >

( )

Aktifkan format eksplisit untuk setiap logger HuggingFace Transformers. Formatter eksplisit adalah sebagai berikut:

    [LEVELNAME|FILENAME|LINE NUMBER] TIME >> MESSAGE
All handlers currently bound to the root logger are affected by this method.

transformers.utils.logging.reset_format

< >

( )

Mengatur ulang format untuk logger HuggingFace Transformers.

Semua handler yang saat ini terikat ke logger root dipengaruhi oleh metode ini.

transformers.utils.logging.enable_progress_bar

< >

( )

Aktifkan bilah progres tqdm.

transformers.utils.logging.disable_progress_bar

< >

( )

Nonaktifkan bilah progres tqdm.

Update on GitHub

←Data collator Model→