# Falcon3

## 개요

[Falcon3](https://falconllm.tii.ae/falcon3/index.html)는 이전 릴리스에서 자연스럽게 진화한 것으로, 모델의 과학, 수학 및 코드 기능을 확장하는 데 중점을 둡니다. 이번 버전에는 Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base, Falcon3-10B-Base의 다섯 가지 베이스 모델이 포함됩니다. 이러한 모델을 개발하는 과정에서 학습 비용을 줄이면서 모델의 성능을 향상시키기 위한 몇 가지 주요 혁신을 도입했습니다:

단일 사전 학습: 웹, 코드, STEM, 그리고 선별된 고품질 다국어 데이터를 포함한 14조 토큰을 활용하여 2048개의 H100 GPU 칩으로 7B 모델에 대해 대규모 사전 학습을 한 번 수행했습니다. 추론 능력 향상을 위한 깊이 업스케일링: 모델 깊이의 영향에 대한 최근 연구에 기반하여, 중복된 레이어를 복제하고 고품질 데이터 2조 토큰으로 사전 학습을 계속하여 7B 모델을 10B 파라미터 모델로 업스케일링했습니다. 이를 통해 13B 파라미터 미만 모델 중 최첨단 제로샷 및 퓨샷 성능을 달성하는 Falcon3-10B-Base가 탄생했습니다. 더 나은 소형 모델을 위한 지식 증류: 컴팩트하고 효율적인 대안을 제공하기 위해, 선별된 고품질 데이터 100GT 미만을 활용하여 프루닝 및 지식 증류 기법을 적용하여 Falcon3-1B-Base와 Falcon3-3B-Base를 개발함으로써 사전 학습 효율성을 재정의했습니다.

## 리소스

- [블로그 게시물](https://huggingface.co/blog/falcon3)
- [Huggingface의 모델](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)

