Diffusers documentation
LongCat-Image
快速入门
推理
使用扩散流水线
适配器与个性化
优化与扩展
模块化 Diffusers
训练与微调
资源
贡献
API
主要类
模块化
加载器
模型
管道
概述AutoPipeline
音频
图像
AnimaAnimateDiffAuraFlowBria 3.2Bria FiboBria Fibo 2.0Bria Fibo 编辑ChromaCogView3CogView4一致性模型ControlNetFlux.1 的 ControlNetHunyuan-DiT 的 ControlNetStable Diffusion 3 的 ControlNetStable Diffusion XL 的 ControlNetControlNet-SanaControlNetUnionDDIMDDPMDeepFloyd IFDiTDreamLiteEasyAnimateEchoERNIE-ImageFluxFlux2Flux3FluxControlInpaintGLM-ImageHiDream-I1Hunyuan-DiTHunyuanImage2.1Ideogram 4InstructPix2PixJoyImage EditJoyImage Edit PlusKandinsky 2.1Kandinsky 2.2Kandinsky 3Kandinsky 5.0 图像KolorsKrea 2潜在一致性模型潜在扩散LEDITS++LongCat-ImageLumina 2.0Lumina-T2XMarigoldNucleusMoE-ImageOmniGenOvis-ImageP-H3-ImagePAGPika H3 FlexPixArt-αPixArt-ΣPRXPRX PixelQwen-Image 2.1QwenImageSanaSana SprintSana VideoSANA-WMShap-EStable Cascade Stable unCLIP价值引导采样VisualClozeZ-Image
Stable Diffusion
蛋白质
文本
视频
调度器
内部类
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
LongCat-Image
我们推出了 LongCat-Image,这是一款开创性的开源双语(中英)图像生成基础模型,旨在解决当前主流模型中普遍存在的多语言文本渲染、照片级真实感、部署效率以及开发者易用性方面的核心挑战。
主要功能
- 🌟 卓越的效率与性能:仅凭借 6B 参数,LongCat-Image 在多项基准测试中超越了多个规模数倍于它的开源模型,充分展现了高效模型设计的巨大潜力。
- 🌟 卓越的编辑性能:LongCat-Image-Edit 模型在开源模型中达到了最先进的性能,在指令遵循和图像质量方面表现领先,并具备出色的视觉一致性。
- 🌟 强大的中文文本渲染能力:与现有的 SOTA 开源模型相比,LongCat-Image 在渲染常用汉字方面展现出更高的准确性和稳定性,并实现了对中文字典的行业领先覆盖。
- 🌟 出色的照片级真实感:通过创新的数据策略和训练框架,LongCat-Image 在生成的图像中实现了出色的照片级真实感。
- 🌟 全面的开源生态系统:我们提供完整的工具链,从中间检查点到完整的训练代码,大幅降低了进一步研究和开发的门槛。
有关更多详细信息,请参阅全面的 LongCat-Image 技术报告
使用示例
import torch
import diffusers
from diffusers import LongCatImagePipeline
weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda') # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()
prompt = '一个年轻的亚裔女性,身穿黄色针织衫,搭配白色项链。她的双手放在膝盖上,表情恬静。背景是一堵粗糙的砖墙,午后的阳光温暖地洒在她身上,营造出一种宁静而温馨的氛围。镜头采用中距离视角,突出她的神态和服饰的细节。光线柔和地打在她的脸上,强调她的五官和饰品的质感,增加画面的层次感与亲和力。整个画面构图简洁,砖墙的纹理与阳光的光影效果相得益彰,突显出人物的优雅与从容。'
image = pipe(
prompt,
height=768,
width=1344,
guidance_scale=4.0,
num_inference_steps=50,
num_images_per_prompt=1,
generator=torch.Generator("cpu").manual_seed(43),
enable_cfg_renorm=True,
enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')此流水线由 LongCat-Image 团队贡献。原始代码库可在此处找到。
可用模型:
| 模型 | 类型 | 描述 | 下载链接 |
|---|---|---|---|
| LongCat‑Image | 文本到图像 | 最终发布版本。用于开箱即用推理的标准模型。 | 🤗 Huggingface |
| LongCat‑Image‑Dev | 文本到图像 | 开发。中期训练检查点,适合用于微调。 | 🤗 Huggingface |
| LongCat‑Image‑Edit | 图像编辑 | 用于图像编辑的专用模型。 | 🤗 Huggingface |
LongCatImagePipeline
class diffusers.LongCatImagePipeline
< source >( scheduler: FlowMatchEulerDiscreteSchedulervae: AutoencoderKLtext_encoder: Qwen2_5_VLForConditionalGenerationtokenizer: Qwen2Tokenizertext_processor: Qwen2VLProcessortransformer: LongCatImageTransformer2DModel )
用于文本到图像生成的流水线。
- 全部
- 调用
LongCatImagePipelineOutput
类 diffusers.pipelines.longcat_image.LongCatImagePipelineOutput
< source >( images: list )
Stable Diffusion 管道的输出类。