# 프로덕션으로 내보내기

Transformers의 모델을 최적화된 런타임과 장치를 위해 다양한 형식으로 내보냅니다. 동일한 모델을 클라우드 제공업체에 배포하거나 모바일 및 엣지 장치에서 실행할 수 있습니다. 각 배포 환경을 위해 모델을 처음부터 다시 작성할 필요가 없습니다. 모든 추론 생태계에서 자유롭게 배포할 수 있습니다.

## ExecuTorch

[ExecuTorch](https://pytorch.org/executorch/stable/index.html)는 모바일 및 엣지 디바이스에서 PyTorch 모델을 실행합니다. 모델을 표준화된 연산자 그래프로 내보내고, 해당 그래프를 ExecuTorch 프로그램으로 컴파일한 후 대상 디바이스에서 실행합니다. 런타임은 경량이며 실행 계획을 사전에 계산합니다.

소스에서 [Optimum ExecuTorch](https://huggingface.co/docs/optimum-executorch/en/index)를 설치합니다.

```bash
git clone https://github.com/huggingface/optimum-executorch.git
cd optimum-executorch
pip install '.[dev]'
```

CLI 도구를 사용하여 Transformers 모델을 ExecuTorch로 내보냅니다.

```bash
optimum-cli export executorch \
    --model "Qwen/Qwen3-8B" \
    --task "text-generation" \
    --recipe "xnnpack" \
    --use_custom_sdpa \
    --use_custom_kv_cache \
    --qlinear 8da4w \
    --qembedding 8w \
    --output_dir="hf_smollm2"
```

모든 내보내기 옵션을 확인하려면 다음 명령을 실행하세요.

```bash
optimum-cli export executorch --help
```

## ONNX

[ONNX](http://onnx.ai)은 다양한 프레임워크의 모델을 기술하기 위한 공통 언어입니다. 모델은 잘 정의된 타입, 형태, 메타데이터를 가진 표준화된 연산자의 그래프로 표현됩니다. 모델은 최적화된 런타임 및 엔진에 배포할 수 있는 컴팩트한 protobuf 파일로 직렬화됩니다.

[Optimum ONNX](https://huggingface.co/docs/optimum-onnx/index)는 설정 객체를 사용하여 모델을 ONNX로 내보냅니다. 다양한 [아키텍처](https://huggingface.co/docs/optimum-onnx/onnx/overview)를 지원하며 쉽게 확장할 수 있습니다. CLI 도구를 통해 또는 프로그래매틱 방식으로 모델을 내보낼 수 있습니다.

[Optimum ONNX](https://huggingface.co/docs/optimum-onnx/index)를 설치하세요.

```bash
uv pip install optimum-onnx
```

### optimum-cli

`--model` 인수를 사용하여 내보낼 모델과 출력 디렉터리를 지정합니다.

```bash
optimum-cli export onnx --model Qwen/Qwen3-8B Qwen/Qwen3-8b-onnx/
```

사용 가능한 모든 인수를 확인하려면 다음 명령을 실행하거나, 자세한 내용은 [optimum.exporters.onnx로 모델을 ONNX로 내보내기](https://huggingface.co/docs/optimum-onnx/onnx/usage_guides/export_a_model) 가이드를 참조하세요.

```bash
optimum-cli export onnx --help
```

로컬 모델을 내보내려면 가중치와 토크나이저 파일을 동일한 디렉터리에 저장하세요. 디렉터리 경로를 `--model` 인자에 전달하고 `--task` 인자를 사용하여 [작업](https://huggingface.co/docs/optimum/exporters/task_manager#transformers)을 지정합니다. `--task`를 제공하지 않으면 시스템은 모델에서 이를 자동 추론하거나 작업별 헤드가 없는 아키텍처를 사용합니다.

```bash
optimum-cli export onnx --model path/to/local/model --task text-generation Qwen/Qwen3-8b-onnx/
```

ONNX Runtime를 포함하여 ONNX를 지원하는 모든 [runtime](https://onnx.ai/supported-tools.html#deployModel)으로 모델을 배포합니다.

```py
from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8b-onnx")
model = ORTModelForCausalLM.from_pretrained("Qwen/Qwen3-8b-onnx")
inputs = tokenizer("Plants generate energy through a process known as ", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs))
```

### optimum.onnxruntime

Optimum ONNX를 사용하여 Transformers의 모델을 프로그래매틱하게 내보냅니다. 모델로 `ORTModel`을 인스턴스화하고 `export=True`를 설정합니다. `save_pretrained`로 ONNX 모델을 저장합니다.

```py
from optimum.onnxruntime import ORTModelForCausalLM
from transformers import AutoTokenizer

ort_model = ORTModelForCausalLM.from_pretrained("Qwen/Qwen3-8b", export=True)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8b")

ort_model.save_pretrained("onnx/")
tokenizer.save_pretrained("onnx/")
```

