Diffusers documentation
Ovis-Image
Ovis-Image
Ovis-Image là mô hình text-to-image 7B được tối ưu hóa đặc biệt cho việc render văn bản chất lượng cao, được thiết kế để hoạt động hiệu quả dưới các ràng buộc tính toán nghiêm ngặt.
Báo cáo kỹ thuật Ovis-Image từ Alibaba Group, do Guo-Hua Wang, Liangfu Cao, Tianyu Cui, Minghao Fu, Xiaohao Chen, Pengxin Zhan, Jianshan Zhao, Lan Li, Bowen Fu, Jiaqi Liu, Qing-Guo Chen thực hiện.
Tóm tắt từ bài báo là:
Chúng tôi giới thiệu Ovis-Image, một mô hình text-to-image 7B được tối ưu hóa đặc biệt cho việc render chữ chất lượng cao, được thiết kế để hoạt động hiệu quả dưới các ràng buộc tính toán nghiêm ngặt. Được xây dựng dựa trên khung Ovis-U1 trước đó của chúng tôi, Ovis-Image tích hợp bộ giải mã thị giác dựa trên diffusion với backbone đa phương thức Ovis 2.5 mạnh hơn, tận dụng quy trình huấn luyện tập trung vào văn bản kết hợp giữa tiền huấn luyện quy mô lớn và các cải tiến hậu huấn luyện được điều chỉnh cẩn thận. Mặc dù có kiến trúc gọn nhẹ, Ovis-Image đạt hiệu suất render chữ ngang bằng với các mô hình mở lớn hơn đáng kể như Qwen-Image và tiệm cận các hệ thống mã nguồn đóng như Seedream và GPT4o. Quan trọng là, mô hình vẫn có thể triển khai trên một GPU cao cấp đơn lẻ với bộ nhớ vừa phải, thu hẹp khoảng cách giữa việc render chữ cấp frontier và triển khai thực tế. Kết quả của chúng tôi cho thấy việc kết hợp một backbone đa phương thức mạnh với công thức huấn luyện tập trung vào văn bản được thiết kế cẩn thận là đủ để đạt được việc render chữ song ngữ đáng tin cậy mà không cần đến các mô hình quá khổ hoặc độc quyền.
Những điểm nổi bật:
- Hiệu năng hiển thị văn bản mạnh mẽ ở quy mô 7B gọn nhẹ: Ovis-Image là mô hình text-to-image 7B mang lại chất lượng hiển thị văn bản tương đương với các hệ thống lớn hơn thuộc lớp 20B như Qwen-Image và cạnh tranh được với các mô hình đóng nguồn hàng đầu như GPT4o trong các kịch bản tập trung vào văn bản, đồng thời vẫn đủ nhỏ để chạy trên phần cứng phổ biến, dễ tiếp cận.
- Độ trung thực cao với các prompt nặng về văn bản và nhạy cảm với bố cục: Mô hình thể hiện xuất sắc với các prompt đòi hỏi sự khớp chặt chẽ giữa nội dung ngôn ngữ và typography được render (ví dụ: poster, banner, logo, UI mockups, infographics), tạo ra văn bản dễ đọc, chính tả đúng và nhất quán về mặt ngữ nghĩa trên nhiều phông chữ, kích thước và tỷ lệ khung hình khác nhau mà không làm giảm chất lượng hình ảnh tổng thể.
- Hiệu suất và khả năng triển khai: Với ngân sách 7B tham số và kiến trúc tối giản, Ovis-Image chạy được trên một GPU cao cấp đơn lẻ với bộ nhớ vừa phải, hỗ trợ sử dụng tương tác có độ trễ thấp và mở rộng lên phục vụ sản xuất theo lô, mang đến khả năng render văn bản gần mức tiên phong cho các ứng dụng mà các mô hình có hàng chục tỷ tham số là không thực tế.
Pipeline này được đóng góp bởi Ovis-Image Team. Mã nguồn gốc có thể được tìm thấy tại đây.
Các model có sẵn:
| Mô hình | dtype được khuyến nghị |
|---|---|
AIDC-AI/Ovis-Image-7B | torch.bfloat16 |
Tham khảo bộ sưu tập này để biết thêm thông tin.
OvisImagePipeline
lớp diffusers.OvisImagePipeline
< source >( scheduler: FlowMatchEulerDiscreteSchedulervae: AutoencoderKLtext_encoder: Qwen3Modeltokenizer: Qwen2Tokenizertransformer: OvisImageTransformer2DModel )
Tham số
- transformer (OvisImageTransformer2DModel) — Kiến trúc Conditional Transformer (MMDiT) để khử nhiễu các latents ảnh đã mã hóa.
- scheduler (FlowMatchEulerDiscreteScheduler) —
Một scheduler được sử dụng kết hợp với
transformerđể khử nhiễu các latents ảnh đã được mã hóa. - vae (AutoencoderKL) — Mô hình Variational Auto-Encoder (VAE) để mã hóa và giải mã hình ảnh từ và sang các biểu diễn ẩn.
- text_encoder (
Qwen3Model) — Bộ mã hóa văn bản của lớp Qwen3Model. - tokenizer (
Qwen2TokenizerFast) — Tokenizer của lớp Qwen2TokenizerFast.
Pipeline Ovis-Image cho việc tạo ảnh từ văn bản.
Tham khảo: https://github.com/AIDC-AI/Ovis-Image
__call__
< source >( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = ''guidance_scale: float = 5.0height: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 50sigmas: list[float] | None = Nonenum_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.FloatTensor] = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truejoint_attention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 256 ) → OvisImagePipelineOutput or tuple
Tham số
- prompt (
strhoặclist[str], tùy chọn) — Prompt hoặc các prompt để định hướng việc tạo ảnh. Nếu không được định nghĩa, bạn phải truyềnprompt_embedsthay thế. - negative_prompt (
strhoặclist[str], tùy chọn) — Prompt hoặc các prompt không dùng để định hướng việc tạo ảnh. Nếu không được định nghĩa, cần truyềnnegative_prompt_embedsthay thế. Bỏ qua khi không sử dụng guidance (tức là bị bỏ qua nếuguidance_scalekhông lớn hơn1). - guidance_scale (
float, tùy chọn, mặc định là 1.0) — Classifier-free guidance thực sự (guidance scale) được kích hoạt khiguidance_scale> 1 vànegative_promptđược cung cấp. - height (
int, tùy chọn, mặc định là self.unet.config.sample_size * self.vae_scale_factor) — Chiều cao của hình ảnh được tạo ra, tính bằng pixel. Giá trị mặc định là 1024 để đạt kết quả tốt nhất. - width (
int, tùy chọn, mặc định là self.unet.config.sample_size * self.vae_scale_factor) — Chiều rộng của hình ảnh được tạo ra, tính bằng pixel. Giá trị mặc định là 1024 để đạt kết quả tốt nhất. - num_inference_steps (
int, tùy chọn, mặc định là 50) — Số bước khử nhiễu. Số bước khử nhiễu nhiều hơn thường dẫn đến hình ảnh có chất lượng cao hơn với chi phí là suy luận chậm hơn. - sigmas (
list[float], tùy chọn) — Các sigma tùy chỉnh để sử dụng cho quá trình khử nhiễu với các trình lập lịch hỗ trợ đối sốsigmastrong phương thứcset_timestepscủa chúng. Nếu không được định nghĩa, hành vi mặc định khinum_inference_stepsđược truyền sẽ được sử dụng. - num_images_per_prompt (
int, tùy chọn, mặc định là 1) — Số lượng hình ảnh cần tạo cho mỗi prompt. - generator (
torch.Generatorhoặclist[torch.Generator], tuỳ chọn) — Một hoặc một danh sách torch generator để đảm bảo quá trình sinh là tất định. - latents (
torch.FloatTensor, tùy chọn) — Các latents nhiễu đã được tạo trước, lấy mẫu từ phân phối Gaussian, dùng làm đầu vào cho việc tạo ảnh. Có thể dùng để tinh chỉnh cùng một quá trình tạo với các prompt khác nhau. Nếu không được cung cấp, một tensor latents sẽ được tạo bằng cách lấy mẫu sử dụnggeneratorngẫu nhiên được cung cấp. - prompt_embeds (
torch.FloatTensor, tùy chọn) — Các embedding văn bản đã được tạo trước. Có thể dùng để dễ dàng điều chỉnh đầu vào văn bản, vd. trọng số prompt. Nếu không được cung cấp, các embedding văn bản sẽ được tạo từ đối số đầu vàoprompt. - negative_prompt_embeds (
torch.FloatTensor, tùy chọn) — Các embedding văn bản âm đã được tạo trước. Có thể dùng để dễ dàng điều chỉnh đầu vào văn bản, vd. trọng số prompt. Nếu không được cung cấp, negative_prompt_embeds sẽ được tạo từ đối số đầu vàonegative_prompt. - output_type (
str, tùy chọn, mặc định là"pil") — Định dạng đầu ra của hình ảnh được tạo. Chọn giữa PIL:PIL.Image.Imagehoặcnp.array. - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một~pipelines.flux.FluxPipelineOutputthay vì một tuple thông thường hay không. - joint_attention_kwargs (
dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đếnAttentionProcessornhư đã định nghĩa dướiself.processortrong diffusers.models.attention_processor. - callback_on_step_end (
Callable, tùy chọn) — Một hàm được gọi vào cuối mỗi bước khử nhiễu trong quá trình suy luận. Hàm này được gọi với các đối số sau:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargssẽ bao gồm danh sách tất cả các tensor như được chỉ định bởicallback_on_step_end_tensor_inputs. - callback_on_step_end_tensor_inputs (
List, optional) — Danh sách các tensor đầu vào cho hàmcallback_on_step_end. Các tensor được chỉ định trong danh sách sẽ được truyền dưới dạng tham sốcallback_kwargs. Bạn chỉ có thể bao gồm các biến được liệt kê trong thuộc tính._callback_tensor_inputscủa lớp pipeline của bạn. - max_sequence_length (
int, mặc định là 512) — Độ dài tối đa của chuỗi để sử dụng vớiprompt.
Trả về
OvisImagePipelineOutput hoặc tuple
OvisImagePipelineOutput nếu return_dict là True, ngược lại là một tuple. Khi trả về tuple, phần tử đầu tiên là một danh sách chứa các hình ảnh đã được tạo.
Hàm được gọi khi gọi pipeline cho việc sinh.
Ví dụ:
>>> import torch
>>> from diffusers import OvisImagePipeline
>>> pipe = OvisImagePipeline.from_pretrained("AIDC-AI/Ovis-Image-7B", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = 'A creative 3D artistic render where the text "OVIS-IMAGE" is written in a bold, expressive handwritten brush style using thick, wet oil paint. The paint is a mix of vibrant rainbow colors (red, blue, yellow) swirling together like toothpaste or impasto art. You can see the ridges of the brush bristles and the glossy, wet texture of the paint. The background is a clean artist's canvas. Dynamic lighting creates soft shadows behind the floating paint strokes. Colorful, expressive, tactile texture, 4k detail.'
>>> image = pipe(prompt, negative_prompt="", num_inference_steps=50, guidance_scale=5.0).images[0]
>>> image.save("ovis_image.png")encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truedevice: typing.Optional[torch.device] = Nonenum_images_per_prompt: int = 1max_sequence_length: int = 256prompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = None )
Tham số
- prompt (
strhoặclist[str], tùy chọn) — prompt cần được mã hóa - negative_prompt (
strhoặclist[str], tùy chọn) — Prompt hoặc các prompt không dùng để định hướng việc tạo ảnh. Chỉ được sử dụng khido_classifier_free_guidancelàTrue. Nếu không được định nghĩa, một chuỗi rỗng sẽ được sử dụng. - do_classifier_free_guidance (
bool, tùy chọn, mặc định làTrue) — Có mã hóanegative_promptcho classifier-free guidance hay không. - device — (
torch.device): thiết bị torch - num_images_per_prompt (
int) — số lượng hình ảnh cần được tạo cho mỗi prompt - max_sequence_length (
int, tùy chọn, mặc định là 256) — Chiều dài tối đa của chuỗi để sử dụng choprompt. - prompt_embeds (
torch.FloatTensor, tùy chọn) — Các embedding văn bản đã được tạo trước. Có thể dùng để dễ dàng điều chỉnh đầu vào văn bản, vd. trọng số prompt. Nếu không được cung cấp, các embedding văn bản sẽ được tạo từ đối số đầu vàoprompt. - negative_prompt_embeds (
torch.FloatTensor, tùy chọn) — Các embedding văn bản âm đã được tạo trước. Nếu không được cung cấp, chúng sẽ được tạo từnegative_prompt.
OvisImagePipelineOutput
lớp diffusers.pipelines.ovis_image.OvisImagePipelineOutput
< source >( images: list )
Lớp đầu ra cho các pipeline Ovis-Image.