Diffusers documentation
Ovis-Image
Ovis-Image
Ovis-Image — это модель text-to-image с 7 млрд параметров, специально оптимизированная для высококачественного рендеринга текста и рассчитанная на эффективную работу в условиях строгих вычислительных ограничений.
Ovis-Image Technical Report от Alibaba Group, авторы: Guo-Hua Wang, Liangfu Cao, Tianyu Cui, Minghao Fu, Xiaohao Chen, Pengxin Zhan, Jianshan Zhao, Lan Li, Bowen Fu, Jiaqi Liu, Qing-Guo Chen.
Аннотация из статьи:
Мы представляем Ovis-Image — текстово-изображенческую модель на 7B параметров, специально оптимизированную для высококачественного рендеринга текста и рассчитанную на эффективную работу в условиях строгих вычислительных ограничений. Построенная на основе нашей предыдущей архитектуры Ovis-U1, Ovis-Image объединяет диффузионный визуальный декодер с более мощным мультимодальным ядром Ovis 2.5, используя тренировочный конвейер, ориентированный на текст, который сочетает крупномасштабное предобучение с тщательно подобранными этапами постобучения. Несмотря на компактную архитектуру, Ovis-Image демонстрирует качество рендеринга текста, сопоставимое с качеством значительно более крупных открытых моделей, таких как Qwen-Image, и приближается к уровню закрытых систем, например Seedream и GPT4o. Принципиально важно, что модель остается развертываемой на одном высокопроизводительном GPU с умеренным объемом памяти, что сокращает разрыв между передовым уровнем рендеринга текста и практическим внедрением. Наши результаты показывают, что сочетание мощного мультимодального ядра с тщательно спроектированным тренировочным рецептом, сфокусированным на тексте, достаточно для достижения надежного двуязычного рендеринга текста без использования чрезмерно больших или проприетарных моделей.
Ключевые моменты:
- Высокое качество рендеринга текста при компактном масштабе 7B: Ovis-Image — это модель text-to-image с 7B параметров, обеспечивающая качество рендеринга текста, сопоставимое с качеством значительно более крупных систем класса 20B, таких как Qwen-Image, и конкурентоспособное с ведущими закрытыми моделями, например GPT4o, в сценариях с преобладанием текста, при этом оставаясь достаточно компактной для запуска на широкодоступном оборудовании.
- Высокая точность для текстово-насыщенных промптов, чувствительных к макету: Модель демонстрирует превосходные результаты на промптах, требующих точного соответствия между лингвистическим содержанием и типографикой (например, постеры, баннеры, логотипы, макеты интерфейсов, инфографика), генерируя читаемый, орфографически верный и семантически согласованный текст в различных шрифтах, размерах и пропорциях без ущерба для общего визуального качества.
- Эффективность и возможность развёртывания: Благодаря бюджету в 7 млрд параметров и оптимизированной архитектуре Ovis-Image помещается на одном высокопроизводительном GPU с умеренным объёмом памяти, поддерживает интерактивное использование с низкой задержкой и масштабируется до пакетного производственного обслуживания, обеспечивая рендеринг текста уровня передовых моделей в приложениях, где модели с десятками миллиардов параметров непрактичны.
Этот конвейер был предоставлен командой Ovis-Image. Исходная кодовая база доступна здесь.
Доступные модели:
| Модель | Рекомендуемый dtype |
|---|---|
AIDC-AI/Ovis-Image-7B | torch.bfloat16 |
См. это собрание для получения дополнительной информации.
OvisImagePipeline
класс diffusers.OvisImagePipeline
< source >( scheduler: FlowMatchEulerDiscreteSchedulervae: AutoencoderKLtext_encoder: Qwen3Modeltokenizer: Qwen2Tokenizertransformer: OvisImageTransformer2DModel )
Параметры
- transformer (OvisImageTransformer2DModel) — Архитектура Conditional Transformer (MMDiT) для удаления шума из закодированных латентов изображения.
- scheduler (FlowMatchEulerDiscreteScheduler) —
планировщик, используемый в связке с
transformerдля удаления шума из закодированных латентов изображения. - vae (AutoencoderKL) — Модель вариационного автоэнкодера (VAE) для кодирования изображений в латентные представления и декодирования из них.
- text_encoder (
Qwen3Model) — Текстовый энкодер класса Qwen3Model. - tokenizer (
Qwen2TokenizerFast) — токенизатор класса Qwen2TokenizerFast.
Пайплайн Ovis-Image для генерации изображений по тексту.
Ссылка: https://github.com/AIDC-AI/Ovis-Image
__call__
< source >( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = ''guidance_scale: float = 5.0height: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 50sigmas: list[float] | None = Nonenum_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.FloatTensor] = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Truejoint_attention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list[str] = ['latents']max_sequence_length: int = 256 ) → OvisImagePipelineOutput or tuple
Параметры
- prompt (
strилиlist[str], необязательный) — Промпт или промпты для управления генерацией изображения. Если не задан, необходимо передатьprompt_embedsвместо него. - negative_prompt (
strorlist[str], необязательный) — Промпт или промпты, которые не должны направлять генерацию изображения. Если не задан, необходимо передатьnegative_prompt_embeds. Игнорируется, если не используется направляющее масштабирование (то есть игнорируется, еслиguidance_scaleне больше1). - guidance_scale (
float, необязательный, по умолчанию 1.0) — истинное классификаторное свободное наведение (масштаб наведения) включается, когдаguidance_scale> 1 и предоставленnegative_prompt. - height (
int, необязательный, по умолчанию self.unet.config.sample_size * self.vae_scale_factor) — Высота генерируемого изображения в пикселях. По умолчанию установлено значение 1024 для достижения наилучших результатов. - width (
int, необязательный, по умолчанию self.unet.config.sample_size * self.vae_scale_factor) — Ширина генерируемого изображения в пикселях. По умолчанию установлено значение 1024 для достижения наилучших результатов. - num_inference_steps (
int, необязательный, по умолчанию 50) — Количество шагов денойзинга. Как правило, большее число шагов денойзинга приводит к изображению более высокого качества, но за счёт более медленного вывода. - sigmas (
list[float], необязательный) — Пользовательские сигмы для процесса удаления шума в планировщиках, поддерживающих аргументsigmasв их методеset_timesteps. Если не задано, будет использоваться поведение по умолчанию при передачеnum_inference_steps. - num_images_per_prompt (
int, необязательный, по умолчанию 1) — Количество изображений, генерируемых для каждого промпта. - generator (
torch.Generatorилиlist[torch.Generator], необязательный) — Один или список генераторов torch для обеспечения детерминированности генерации. - latents (
torch.FloatTensor, необязательный) — Предварительно сгенерированные зашумлённые латенты, выбранные из гауссова распределения, которые используются в качестве входных данных для генерации изображений. Позволяет корректировать один и тот же процесс генерации с помощью различных промптов. Если не заданы, тензор латентов будет сгенерирован путём выборки с использованием переданного случайногоgenerator. - prompt_embeds (
torch.FloatTensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, например, для взвешивания промпта. Если не передано, текстовые эмбеддинги будут сгенерированы из входного аргументаprompt. - negative_prompt_embeds (
torch.FloatTensor, необязательный) — Предварительно сгенерированные отрицательные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, например для взвешивания промпта. Если не передано, negative_prompt_embeds будет сгенерировано из входного аргументаnegative_prompt. - output_type (
str, необязательный, по умолчанию"pil") — Формат вывода сгенерированного изображения. Выберите один из вариантов: PIL:PIL.Image.Imageилиnp.array. - return_dict (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли возвращать~pipelines.flux.FluxPipelineOutputвместо обычного кортежа. - joint_attention_kwargs (
dict, необязательный) — Словарь kwargs, который при указании передается вAttentionProcessor, определенный вself.processorв модуле diffusers.models.attention_processor. - callback_on_step_end (
Callable, необязательный) — Функция, вызываемая в конце каждого шага денойзинга во время инференса. Функция вызывается со следующими аргументами:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict).callback_kwargsбудет содержать список всех тензоров, как указано вcallback_on_step_end_tensor_inputs. - callback_on_step_end_tensor_inputs (
List, необязательный) — Список тензорных входных данных для функцииcallback_on_step_end. Тензоры, указанные в списке, будут переданы в качестве аргументаcallback_kwargs. Вы сможете включать только переменные, перечисленные в атрибуте._callback_tensor_inputsвашего класса конвейера. - max_sequence_length (
int, по умолчанию 512) — максимальная длина последовательности, используемая сprompt.
Возвращает
OvisImagePipelineOutput или tuple
OvisImagePipelineOutput, если return_dict равно True, иначе tuple. При возврате кортежа первым элементом является список с сгенерированными изображениями.
Функция, вызываемая при обращении к конвейеру для генерации.
Примеры:
>>> import torch
>>> from diffusers import OvisImagePipeline
>>> pipe = OvisImagePipeline.from_pretrained("AIDC-AI/Ovis-Image-7B", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = 'A creative 3D artistic render where the text "OVIS-IMAGE" is written in a bold, expressive handwritten brush style using thick, wet oil paint. The paint is a mix of vibrant rainbow colors (red, blue, yellow) swirling together like toothpaste or impasto art. You can see the ridges of the brush bristles and the glossy, wet texture of the paint. The background is a clean artist's canvas. Dynamic lighting creates soft shadows behind the floating paint strokes. Colorful, expressive, tactile texture, 4k detail.'
>>> image = pipe(prompt, negative_prompt="", num_inference_steps=50, guidance_scale=5.0).images[0]
>>> image.save("ovis_image.png")encode_prompt
< source >( prompt: str | list[str]negative_prompt: str | list[str] | None = Nonedo_classifier_free_guidance: bool = Truedevice: typing.Optional[torch.device] = Nonenum_images_per_prompt: int = 1max_sequence_length: int = 256prompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = None )
Параметры
- prompt (
strилиlist[str], необязательный) — промпт для кодирования - negative_prompt (
strorlist[str], необязательный) — Промпт или промпты, которые не должны направлять генерацию изображения. Используется только тогда, когдаdo_classifier_free_guidanceравноTrue. Если не задано, используется пустая строка. - do_classifier_free_guidance (
bool, необязательный, по умолчаниюTrue) — Следует ли также кодироватьnegative_promptдля classifier-free guidance. - device — (
torch.device): устройство torch - num_images_per_prompt (
int) — количество изображений, которые должны быть сгенерированы для каждого промпта - max_sequence_length (
int, необязательный, по умолчанию 256) — Максимальная длина последовательности, используемая дляprompt. - prompt_embeds (
torch.FloatTensor, необязательный) — Предварительно сгенерированные текстовые эмбеддинги. Можно использовать для простой настройки текстовых входных данных, например, для взвешивания промпта. Если не передано, текстовые эмбеддинги будут сгенерированы из входного аргументаprompt. - negative_prompt_embeds (
torch.FloatTensor, необязательный) — Предварительно сгенерированные эмбеддинги отрицательного текста. Если не указаны, они генерируются изnegative_prompt.
OvisImagePipelineOutput
класс diffusers.pipelines.ovis_image.OvisImagePipelineOutput
< source >( images: list[PIL.Image.Image, numpy.ndarray] )
Класс вывода для пайплайнов Ovis-Image.