LongCat-Image

Nous présentons LongCat-Image, un modèle de base pionnier, open source et bilingue (chinois-anglais) pour la génération d’images, conçu pour répondre aux défis fondamentaux en matière de rendu de texte multilingue, de photoréalisme, d’efficacité du déploiement et d’accessibilité pour les développeurs, qui prévalent dans les modèles de pointe actuels.

Fonctionnalités clés

• 🌟 Efficacité et performances exceptionnelles : avec seulement 6B paramètres, LongCat-Image surpasse de nombreux modèles open source plusieurs fois plus volumineux sur plusieurs benchmarks, démontrant le potentiel immense de la conception de modèles efficaces.
• 🌟 Performance de modification supérieure : le modèle LongCat-Image-Edit atteint des performances de pointe parmi les modèles open source, offrant un suivi des instructions et une qualité d'image de premier plan, avec une cohérence visuelle supérieure.
• 🌟 Rendu puissant du texte chinois : LongCat-Image démontre une précision et une stabilité supérieures dans le rendu des caractères chinois courants par rapport aux modèles open source SOTA existants et atteint une couverture du dictionnaire chinois leader dans l'industrie.
• 🌟 Photoréalisme remarquable : Grâce à une stratégie de données et à un cadre d'entraînement innovants, LongCat-Image atteint un photoréalisme remarquable dans les images générées.
• 🌟 Écosystème open source complet : Nous fournissons une chaîne d'outils complète, allant des points de contrôle intermédiaires au code d'entraînement complet, réduisant considérablement la barrière à l'entrée pour la recherche et le développement ultérieurs.

Pour plus de détails, veuillez consulter le LongCat-Image Technical Report complet.

Exemple d'utilisation

import torch
import diffusers
from diffusers import LongCatImagePipeline

weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda')  # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()

prompt = '一个年轻的亚裔女性，身穿黄色针织衫，搭配白色项链。她的双手放在膝盖上，表情恬静。背景是一堵粗糙的砖墙，午后的阳光温暖地洒在她身上，营造出一种宁静而温馨的氛围。镜头采用中距离视角，突出她的神态和服饰的细节。光线柔和地打在她的脸上，强调她的五官和饰品的质感，增加画面的层次感与亲和力。整个画面构图简洁，砖墙的纹理与阳光的光影效果相得益彰，突显出人物的优雅与从容。'
image = pipe(
    prompt,
    height=768,
    width=1344,
    guidance_scale=4.0,
    num_inference_steps=50,
    num_images_per_prompt=1,
    generator=torch.Generator("cpu").manual_seed(43),
    enable_cfg_renorm=True,
    enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')

Ce pipeline a été contribué par l'équipe LongCat-Image. Le code source original est disponible ici.

Modèles disponibles :

LongCatImagePipeline

• tous
• appel

LongCatImagePipelineOutput