# CodeLlama

[Code Llama](https://huggingface.co/papers/2308.12950)는 코딩 작업을 위해 [Llama 2](./llama2) 기반으로 개발된 특수화된 대규모 언어 모델 계열입니다. 일반 코드, Python 전용, 지시 따르기 변형 등 다양한 버전으로 제공되며, 모두 7B, 13B, 34B, 70B 파라미터 규모로 사용할 수 있습니다. Code Llama 모델은 코드를 생성하고 설명할 뿐만 아니라, 누락된 코드 부분을 채우는 작업(인필링)도 수행할 수 있습니다. 16K 토큰 길이의 시퀀스로 학습되었음에도 불구하고, 100k 토큰까지 안정적으로 생성되는 매우 긴 컨텍스트를 처리할 수 있습니다.

모든 원본 Code Llama 체크포인트는 [Code Llama](https://huggingface.co/collections/meta-llama/code-llama-family-661da32d0a9d678b6f55b933) 컬렉션에서 찾을 수 있습니다.

> [!TIP]
> Code Llama 모델을 적용하여 다양한 코딩 작업을 수행하는 방법에 대한 추가 예제는 오른쪽 사이드바의 Code Llama 모델 항목을 클릭하여 확인하세요.

아래 예제는 [Pipeline](/docs/transformers/v5.23.0/ko/main_classes/pipelines#transformers.Pipeline), [AutoModel](/docs/transformers/v5.23.0/ko/model_doc/auto#transformers.AutoModel), 또는 명령줄을 사용하여 코드를 생성하는 방법을 보여줍니다.

```python
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="meta-llama/CodeLlama-7b-hf",
    device_map=0
)

# basic code generation
result = pipe("# Function to calculate the factorial of a number\ndef factorial(n):", max_new_tokens=256)
print(result[0]['generated_text'])

# infilling
infill_result = pipe("def remove_non_ascii(s: str) -> str:\n    \"\"\" <FILL_ME>\n    return result", max_new_tokens=200)
print(infill_result[0]['generated_text'])
```

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("meta-llama/CodeLlama-7b-hf")
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/CodeLlama-7b-hf",
    device_map="auto",
    attn_implementation="sdpa"
)

# basic code generation
prompt = "# Function to calculate the factorial of a number\ndef factorial(n):"
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)

output = model.generate(
    **input_ids,
    max_new_tokens=256,
    cache_implementation="static"
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

# infilling
infill_prompt = "def remove_non_ascii(s: str) -> str:\n    \"\"\" <FILL_ME>\n    return result"
input_ids = tokenizer(infill_prompt, return_tensors="pt").to(model.device)

filled_output = model.generate(**input_ids, max_new_tokens=200)
filled_text = tokenizer.decode(filled_output[0], skip_special_tokens=True)
print(filled_text)
```

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 [Quantization](../quantization/overview) 개요를 참조하세요.

아래 예제는 [bitsandbytes](../quantization/bitsandbytes)를 사용하여 가중치만 4-bit로 양자화합니다.

```python
# pip install bitsandbytes
import torch

from transformers import AutoModelForCausalLM, BitsAndBytesConfig, CodeLlamaTokenizer

bnb_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_quant_type="nf4", bnb_4bit_use_double_quant=True)
tokenizer = CodeLlamaTokenizer.from_pretrained("meta-llama/CodeLlama-34b-hf")
model = AutoModelForCausalLM.from_pretrained(
   "meta-llama/CodeLlama-34b-hf",
   device_map="auto",
   quantization_config=bnb_config
)

prompt = "# Write a Python function to check if a string is a palindrome\ndef is_palindrome(s):"
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)

output = model.generate(**input_ids, max_new_tokens=200, cache_implementation="static")
print(tokenizer.decode(output[0], skip_special_tokens=True))
```

[AttentionMaskVisualizer](https://github.com/huggingface/transformers/blob/beb9b5b02246b9b7ee81ddf938f93f44cfeaad19/src/transformers/utils/attention_visualizer.py#L139)를 사용하여 모델이 어떤 토큰에 주의를 기울일 수 있고, 어떤 토큰에는 기울일 수 없는지 더 잘 이해해 보세요.

```python
from transformers.utils.attention_visualizer import AttentionMaskVisualizer

visualizer = AttentionMaskVisualizer("meta-llama/CodeLlama-7b-hf")
visualizer("""def func(a, b):
  return a + b""")
```

    

## The input is a single word "Notes".

참고

- Infilling은 7B 및 13B base 모델에서만 사용할 수 있으며, Python, Instruct, 34B, 70B 모델에서는 사용할 수 없습니다.
- 입력이 채워지기를 원하는 위치에 `<FILL_ME>` 토큰을 사용하세요. 토크나이저는 이 토큰을 분리하여 [원본 학습 패턴](https://github.com/facebookresearch/codellama/blob/cb51c14ec761370ba2e2bc351374a79265d0465e/llama/generation.py#L402)을 따르는 형식화된 입력 문자열을 생성합니다. 이는 패턴을 직접 준비하는 것보다 더 견고합니다.

    ```py
    from transformers import LlamaForCausalLM, CodeLlamaTokenizer

    tokenizer = CodeLlamaTokenizer.from_pretrained("meta-llama/CodeLlama-7b-hf")
    model = LlamaForCausalLM.from_pretrained("meta-llama/CodeLlama-7b-hf", device_map="auto")
    PROMPT = '''def remove_non_ascii(s: str) -> str:
        """ <FILL_ME>
        return result
    '''
    input_ids = tokenizer(PROMPT, return_tensors="pt").to(model.device)["input_ids"]
    generated_ids = model.generate(input_ids, max_new_tokens=128)

    filling = tokenizer.batch_decode(generated_ids[:, input_ids.shape[1]:], skip_special_tokens = True)[0]
    print(PROMPT.replace("<FILL_ME>", filling))
    ```

- 추가 학습 또는 fine-tuning에는 `bfloat16`를, 추론에는 `float16`을 사용하세요.
- `BOS` 문자는 프롬프트의 시작 부분에서만 사용되며, 접두사나 접미사를 인코딩할 때 인필링(infilling)에는 사용되지 않습니다.
- 토크나이저는 [SentencePiece](https://github.com/google/sentencepiece) 기반의 바이트 페어 인코딩 모델입니다. 디코딩 과정에서 첫 번째 토큰이 단어의 시작(예: “Banana”)인 경우, 토크나이저는 문자열 앞에 접두어 공백을 붙이지 않습니다.

## CodeLlamaTokenizer[[transformers.CodeLlamaTokenizer]]

#### transformers.CodeLlamaTokenizer[[transformers.CodeLlamaTokenizer]]

```python
transformers.CodeLlamaTokenizer(vocab: str | dict[str, int] | None = None, merges: str | list[str] | None = None, clean_up_tokenization_spaces = False, unk_token = '<unk>', bos_token = '<s>', eos_token = '</s>', prefix_token = '▁<PRE>', middle_token = '▁<MID>', suffix_token = '▁<SUF>', eot_token = '▁<EOT>', fill_token = '<FILL_ME>', additional_special_tokens = None, use_default_system_prompt: bool = False, add_prefix_space: bool | None = True, add_bos_token: bool = True, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/code_llama/tokenization_code_llama.py#L41)

**매개변수:**

clean_up_tokenization_spaces (`str`, *선택 사항*, 기본값 `False`) : 디코딩 후 공백을 정리할지 여부입니다. 정리는 불필요한 공백과 같은 잠재적 아티팩트를 제거하는 작업을 포함합니다.

unk_token (`str`, *선택*, 기본값 `"<unk>"`) : 알 수 없는 토큰. 어휘에 없는 토큰은 ID로 변환할 수 없으므로 이 토큰으로 설정됩니다.

bos_token (`str`, *선택 사항*, 기본값 `"<s>"`) : 사전 학습 시 사용된 시퀀스 시작 토큰입니다. 시퀀스 분류기 토큰으로 사용할 수 있습니다.

eos_token (`str`, *선택 사항*, 기본값 `"</s>"`) : 시퀀스 종료 토큰입니다.

prefix_token (`str`, *선택 사항*, 기본값 `"▁<PRE>"`) : infilling에 사용되는 접두사 토큰.

middle_token (`str`, *선택 사항*, 기본값 `"▁<MID>"`) : 인필링에 사용되는 중간 토큰.

suffix_token (`str`, *선택 사항*, 기본값 `"▁<SUF>"`) : infilling에 사용되는 접미사 토큰.

eot_token (`str`, *선택 사항*, 기본값 `"▁<EOT>"`) : infilling에 사용되는 텍스트 종료 토큰입니다.

fill_token (`str`, *선택 사항*, 기본값 `"<FILL_ME>"`) : 입력을 접두사와 접미사로 나누는 데 사용되는 토큰입니다.

additional_special_tokens (`list[str]`, *선택 사항*) : 토크나이저가 사용하는 추가 특수 토큰입니다.

add_bos_token (`bool`, *선택 사항*, 기본값 `True`) : 시퀀스 시작 부분에 시퀀스 시작 토큰을 추가할지 여부.

add_eos_token (`bool`, *선택 사항*, 기본값 `False`) : 시퀀스 끝에 시퀀스 종료 토큰을 추가할지 여부.

use_default_system_prompt (`bool`, *선택 사항*, 기본값 `False`) : Llama의 기본 시스템 프롬프트를 사용할지 여부.

add_prefix_space (`bool`, *선택 사항*) : 입력에 공백을 추가할지 여부입니다. 이를 통해 첫 번째 단어를 다른 단어와 동일하게 처리할 수 있습니다.

vocab (`str`, `dict` 또는 `list`, *선택 사항*) : 사용자 정의 어휘 사전. 제공되지 않으면 vocab_file에서 어휘가 로드됩니다.

merges (`str` 또는 `list`, *선택 사항*) : 사용자 지정 병합 목록. 제공되지 않으면 병합이 merges_file에서 로드됩니다.

vocab_file (`str`, *선택 사항*) : 토크나이저를 인스턴스화하는 데 필요한 어휘를 포함하는 [SentencePiece](https://github.com/google/sentencepiece) 파일(일반적으로 .model 확장자를 가짐).

Llama 토크나이저를 구성합니다. 바이트 수준 Byte-Pair-Encoding에 기반합니다.

이것은 특히 ByteFallback을 사용하며 정규화를 적용하지 않습니다.

```python
>>> from transformers import CodeLlamaTokenizer

>>> tokenizer = CodeLlamaTokenizer.from_pretrained("hf-internal-testing/llama-tokenizer")
>>> tokenizer.encode("Hello this is a test")
[1, 15043, 445, 338, 263, 1243]
```

`bos_token` 또는 `eos_token`를 변경하려면, 모델을 초기화할 때 이를 명시하거나 `tokenizer.update_post_processor()`를 호출하여 후처리(post-processing)가 올바르게 수행되도록 해야 합니다(그렇지 않으면 인코딩된 시퀀스의 첫 번째 토큰과 마지막 토큰의 값이 정확하지 않게 됩니다). 자세한 내용은 [post-processors] (https://huggingface.co/docs/tokenizers/api/post-processors) 문서를 참고하세요.

이 토크나이저는 대부분의 주요 메서드를 포함하는 [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ko/main_classes/tokenizer#transformers.TokenizersBackend)를 상속합니다. 해당 메서드에 대한 자세한 정보는 이 상위 클래스를 참고하세요. 기본 구성은 프롬프트 인필링을 지원하는 [meta-llama/CodeLlama-7b-Instruct-hf](https://huggingface.co/meta-llama/CodeLlama-7b-Instruct-hf/blob/main/tokenizer_config.json)와 일치합니다.

#### get_special_tokens_mask[[transformers.CodeLlamaTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**매개변수:**

token_ids_0 : (이미 포맷된) 시퀀스의 ID 목록.

token_ids_1 : `already_has_special_tokens=True`인 경우 사용되지 않습니다. 이 경우 None이어야 합니다.

already_has_special_tokens : 시퀀스가 이미 특수 토큰으로 포맷되어 있는지 여부.

**반환값:** [0, 1] 범위의 정수 목록

특수 토큰은 1, 시퀀스 토큰은 0입니다.

…

빠른 토크나이저의 경우, 데이터 콜레이터는 이미 포맷된 시퀀스에 대한 마스크를 생성하기 위해 `already_has_special_tokens=True`를 전달하여 이 메서드를 호출합니다. 이 경우 `all_special_ids`에 대한 멤버십을 확인하여 마스크를 계산합니다.

#### update_post_processor[[transformers.CodeLlamaTokenizer.update_post_processor]]

```python
update_post_processor()
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L628)

현재 `bos_token`와 `eos_token`으로 기본 post processor를 업데이트합니다.

#### save_vocabulary[[transformers.CodeLlamaTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_tokenizers.py#L547)

## CodeLlamaTokenizerFast[[transformers.CodeLlamaTokenizer]]

#### transformers.CodeLlamaTokenizer[[transformers.CodeLlamaTokenizer]]

```python
transformers.CodeLlamaTokenizer(vocab: str | dict[str, int] | None = None, merges: str | list[str] | None = None, clean_up_tokenization_spaces = False, unk_token = '<unk>', bos_token = '<s>', eos_token = '</s>', prefix_token = '▁<PRE>', middle_token = '▁<MID>', suffix_token = '▁<SUF>', eot_token = '▁<EOT>', fill_token = '<FILL_ME>', additional_special_tokens = None, use_default_system_prompt: bool = False, add_prefix_space: bool | None = True, add_bos_token: bool = True, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/code_llama/tokenization_code_llama.py#L41)

**매개변수:**

clean_up_tokenization_spaces (`str`, *선택 사항*, 기본값 `False`) : 디코딩 후 공백을 정리할지 여부입니다. 정리는 불필요한 공백과 같은 잠재적 아티팩트를 제거하는 작업을 포함합니다.

unk_token (`str`, *선택*, 기본값 `"<unk>"`) : 알 수 없는 토큰. 어휘에 없는 토큰은 ID로 변환할 수 없으므로 이 토큰으로 설정됩니다.

bos_token (`str`, *선택 사항*, 기본값 `"<s>"`) : 사전 학습 시 사용된 시퀀스 시작 토큰입니다. 시퀀스 분류기 토큰으로 사용할 수 있습니다.

eos_token (`str`, *선택 사항*, 기본값 `"</s>"`) : 시퀀스 종료 토큰입니다.

prefix_token (`str`, *선택 사항*, 기본값 `"▁<PRE>"`) : infilling에 사용되는 접두사 토큰.

middle_token (`str`, *선택 사항*, 기본값 `"▁<MID>"`) : 인필링에 사용되는 중간 토큰.

suffix_token (`str`, *선택 사항*, 기본값 `"▁<SUF>"`) : infilling에 사용되는 접미사 토큰.

eot_token (`str`, *선택 사항*, 기본값 `"▁<EOT>"`) : infilling에 사용되는 텍스트 종료 토큰입니다.

fill_token (`str`, *선택 사항*, 기본값 `"<FILL_ME>"`) : 입력을 접두사와 접미사로 나누는 데 사용되는 토큰입니다.

additional_special_tokens (`list[str]`, *선택 사항*) : 토크나이저가 사용하는 추가 특수 토큰입니다.

add_bos_token (`bool`, *선택 사항*, 기본값 `True`) : 시퀀스 시작 부분에 시퀀스 시작 토큰을 추가할지 여부.

add_eos_token (`bool`, *선택 사항*, 기본값 `False`) : 시퀀스 끝에 시퀀스 종료 토큰을 추가할지 여부.

use_default_system_prompt (`bool`, *선택 사항*, 기본값 `False`) : Llama의 기본 시스템 프롬프트를 사용할지 여부.

add_prefix_space (`bool`, *선택 사항*) : 입력에 공백을 추가할지 여부입니다. 이를 통해 첫 번째 단어를 다른 단어와 동일하게 처리할 수 있습니다.

vocab (`str`, `dict` 또는 `list`, *선택 사항*) : 사용자 정의 어휘 사전. 제공되지 않으면 vocab_file에서 어휘가 로드됩니다.

merges (`str` 또는 `list`, *선택 사항*) : 사용자 지정 병합 목록. 제공되지 않으면 병합이 merges_file에서 로드됩니다.

vocab_file (`str`, *선택 사항*) : 토크나이저를 인스턴스화하는 데 필요한 어휘를 포함하는 [SentencePiece](https://github.com/google/sentencepiece) 파일(일반적으로 .model 확장자를 가짐).

Llama 토크나이저를 구성합니다. 바이트 수준 Byte-Pair-Encoding에 기반합니다.

이것은 특히 ByteFallback을 사용하며 정규화를 적용하지 않습니다.

```python
>>> from transformers import CodeLlamaTokenizer

>>> tokenizer = CodeLlamaTokenizer.from_pretrained("hf-internal-testing/llama-tokenizer")
>>> tokenizer.encode("Hello this is a test")
[1, 15043, 445, 338, 263, 1243]
```

`bos_token` 또는 `eos_token`를 변경하려면, 모델을 초기화할 때 이를 명시하거나 `tokenizer.update_post_processor()`를 호출하여 후처리(post-processing)가 올바르게 수행되도록 해야 합니다(그렇지 않으면 인코딩된 시퀀스의 첫 번째 토큰과 마지막 토큰의 값이 정확하지 않게 됩니다). 자세한 내용은 [post-processors] (https://huggingface.co/docs/tokenizers/api/post-processors) 문서를 참고하세요.

이 토크나이저는 대부분의 주요 메서드를 포함하는 [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ko/main_classes/tokenizer#transformers.TokenizersBackend)를 상속합니다. 해당 메서드에 대한 자세한 정보는 이 상위 클래스를 참고하세요. 기본 구성은 프롬프트 인필링을 지원하는 [meta-llama/CodeLlama-7b-Instruct-hf](https://huggingface.co/meta-llama/CodeLlama-7b-Instruct-hf/blob/main/tokenizer_config.json)와 일치합니다.

#### set_infilling_processor[[transformers.CodeLlamaTokenizer.set_infilling_processor]]

```python
set_infilling_processor(reset, suffix_first = False, add_special_tokens = True)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/code_llama/tokenization_code_llama.py#L229)

`infilling` 프롬프트 형식이 준수되도록 normalizer를 업데이트합니다. infilling 형식은 다음과 같습니다: suffix_first인 경우 "  {suf}  {pre}", 그렇지 않은 경우 "  {pre} {suf} "

`reset`이 `True`로 설정되면, `normalizer`와 `post_processor`는 "정상" 동작으로 리셋됩니다. 이는 normalizer의 경우 접두어 공백을 추가하고, `post_processor`의 경우 입력 텍스트에 `bos_token`을 추가하는 동작입니다.

