Unsloth로 시작하는
나만의 AI 모델 만들기

Unsloth 공식 노트북 열기

구글에서 "unsloth notebook llama 3"으로 검색하거나, Unsloth 공식 깃허브의 노트북 링크를 클릭합니다. 클릭 한 번으로 Colab이 열립니다. 우리가 직접 코드를 짜는 게 아니라 이미 다 만들어진 코드를 빌려 쓰는 것입니다.

런타임을 GPU로 변경

Colab 상단 메뉴에서 런타임 → 런타임 유형 변경 → T4 GPU 선택. 무료입니다.

위에서부터 셀 하나씩 실행 (Shift + Enter)

맨 위 셀부터 차례대로 실행합니다. 첫 셀은 보통 !pip install unsloth 같은 설치 명령어인데, Colab에서는 이게 거의 무조건 성공합니다. 5 ~ 10분 정도 걸립니다.

데이터셋만 내 것으로 바꾸기 (오늘의 핵심)

노트북 안에 dataset = load_dataset("yahma/alpaca-cleaned") 같은 줄이 있습니다. 이걸 내 데이터로 바꾸면 됩니다. 데이터 형식은 다음과 같습니다.

{
  "instruction": "농촌진흥청 보도자료를 작성해줘",
  "input": "주제: 가을 배추 작황 호조",
  "output": "농촌진흥청은 ○○일, 올 가을 배추..."
}

이런 항목을 50 ~ 500개 정도 모으면 충분히 의미 있는 파인튜닝이 됩니다. JSON 또는 CSV로 저장 후 Colab에 업로드합니다.

학습 실행 → 기다리기

Trainer 셀을 실행하면 학습이 시작됩니다. T4 GPU 기준 7B 모델 + 데이터 500개 = 약 30분 ~ 1시간. 화면에 loss(손실값)가 점점 줄어드는 게 보이면 정상입니다.

GGUF로 저장 → 내 PC에서 사용

마지막 셀에서 model.save_pretrained_gguf(...)를 실행합니다. 결과 파일을 다운로드한 뒤, 내 PC에서 Ollama 등으로 실행하면 인터넷 없이 내 모델을 사용할 수 있습니다.

PowerShell을 관리자 권한으로 실행

시작 메뉴에서 PowerShell 검색 → 우클릭 → 관리자 권한으로 실행. 일반 PowerShell로 시작하면 절반 명령어가 막힙니다.

winget이 살아있는지 확인

PS> winget --version

Python 3.11 설치 (3.13 아닙니다)

PS> winget install -e --id Python.Python.3.11

설치 후 PowerShell 재시작 → python --version으로 확인.

uv 설치 (요즘 표준 패키지 매니저)

PS> winget install --id=astral-sh.uv -e

uv는 pip의 빠른 후계자입니다. PyTorch + CUDA를 자동으로 맞춰주기 때문에 충돌이 압도적으로 줄어듭니다.

가상환경 만들기 (이걸 빼먹으면 나중에 후회)

PS> uv venv unsloth_env --python 3.11
PS> unsloth_env\Scripts\activate

두 번째 명령 실행 후 줄 맨 앞에 (unsloth_env)가 붙으면 정상입니다.

Unsloth 설치

PS> uv pip install unsloth --torch-backend=auto

설치 중 CMake가 한참 뭔가를 빌드합니다. 5 ~ 15분 걸릴 수 있습니다. 멈춘 게 아닙니다.

설치 검증

PS> python -c "import torch; print(torch.cuda.is_available())"

첫 파인튜닝 코드 실행

Colab 노트북을 그대로 다운로드해서 로컬에서 돌릴 수 있습니다. 또는 Unsloth 공식 깃허브의 example 폴더에서 llama3_finetune.py 같은 파일을 받아 실행합니다. 이 부분은 길 A의 A4 ~ A6과 동일합니다.