오픈소스 특집 · 내 기기에서 직접 돌려보기

내 컴퓨터는 얼마나 큰 모델을 돌릴 수 있나

앞에서는 개념을 다뤘고, 이번 절은 직접 해봅니다. 그래픽카드나 Mac 모델을 선택하고 결론을 바로 확인하세요. 보고 나면 로컬에서 모델을 돌리는 문턱이 대부분의 사람이 생각하는 것보다 낮다는 걸 알게 됩니다.

먼저 한 번 계산해 봅니다
플랫폼
모델명
정밀도
후보 모델은 모두 실제로 다운로드할 수 있는 Apache 2.0 가중치입니다. 환산값은 추정치이며, 실행 가능성 판단을 돕는 용도이므로 실측을 대신할 수는 없습니다.

맨 아래 Qwen3.8-Max는 무엇을 골라도 빨간색으로 남습니다. 목록의 오류가 아닙니다. 이 챕터 3강에서 다룬, 가중치를 오픈소스로 공개하겠다고 발표했지만 아직 공개하지 않은 그 모델입니다. 2.4조 파라미터를 위 공식에 넣으면 1560 GB가 필요하고, 목록에서 가장 비싼 기기로 바꿔도 모자랍니다. 그래도 표에 남겨 둔 이유는 「가중치가 공개되었다」와 「내가 돌릴 수 있다」가 서로 다른 이야기이기 때문이고, 이 숫자를 직접 보는 편이 「모델이 매우 크다」라는 문장을 읽는 것보다 훨씬 와닿기 때문입니다.

공식은 어디서 나왔나

위 결론은 표를 찾아본 게 아니고, 곱셈 하나입니다.

필요한 VRAM(GB) ≈ 파라미터 수(B) × 정밀도 계수
예: 8B 모델을 INT4로 돌리면 8 × 0.65 ≈ 5.2 GB

설명이 필요한 건 이 계수입니다. 가중치만 순수하게 적재한다면 INT4는 파라미터당 0.5바이트라서 8B 모델은 4 GB면 됩니다. 그런데 모델이 돌아가려면 대화 과정에서 쌓이는 중간 상태를 담아둘 공간이 따로 필요합니다. 2부에서 다룬 KV Cache입니다. 계수에는 이 부분의 오버헤드가 이미 포함되어 있으니, 바깥에서 여유분을 한 번 더 곱하지 마세요. 그러면 어떤 기기로도 못 돌린다는 결론이 나옵니다.

네 가지 정밀도 구간

양자화는 파라미터 하나하나를 더 적은 비트로 저장하는 것입니다. 비트가 적을수록 용량은 작아지고, 대가는 정밀도 손실입니다.

FP32
× 4.0
전체 정밀도. 사실상 훈련에만 쓰이고, 로컬 추론을 이렇게 돌리는 사람은 없습니다.
FP16
× 2.6
반정밀도. 모델 공개 시의 원본 포맷이고, 품질의 기준선입니다.
INT8
× 1.3
용량이 절반. 품질 손실은 보통 알아채기 어렵습니다. VRAM이 넉넉하다면 무난한 선택입니다.
INT4
× 0.65
용량이 원래의 4분의 1. 대부분의 일상 과제에서 차이는 느껴지지만 수용할 만합니다.
로컬 실행에 가장 많이 씀

위 계산기에서 정밀도를 FP16에서 INT4로 바꿔보면 돌릴 수 있는 모델이 어떻게 달라지는지 볼 수 있습니다. 양자화는 로컬 배포의 문턱을 낮추는 가장 효과적인 한 수입니다. 8 GB 그래픽카드는 FP16의 8B 모델을 못 돌리지만, INT4로 바꾸면 여유롭습니다.

정밀도가 떨어진다는데, 대체 어디서 떨어지나

「비트가 줄면 손실이 생긴다」는 말은 누구나 할 수 있습니다. 그런데 그 손실은 정확히 어느 단계에서 생기는 걸까요? 양자화가 하는 일은 사실 하나뿐입니다. 원래 연속적이던 가중치를, 정해진 개수의 구간에 맞춰 반올림하는 것입니다. 비트 수는 쓸 수 있는 구간이 몇 개인지를 정합니다. 4비트면 16단계, 8비트면 256단계입니다. 구간이 적을수록 가중치 하나하나가 옮겨지는 거리도 멀어집니다.

정밀도를 바꿔 보고, 같은 가중치들이 어디로 옮겨지는지 확인해 보세요.
정밀도

INT4 구간에는 잠깐 멈춰서 볼 곳이 두 군데 있습니다. 하나는 절댓값이 가장 작은 몇 개의 가중치가 반올림되면서 정확히 0에 떨어진다는 점입니다. 이 파라미터들은 양자화된 파일 안에서 더 이상 아무 역할도 하지 않습니다. 모델 안에 이런 작은 가중치는 엄청나게 많고, 하나하나는 중요하지 않아도 모이면 적지 않은 디테일을 담당합니다. 다른 하나는 눈금자 위의 점이 줄어든 것입니다. 점이 사라진 게 아니라, 원래 서로 달랐던 가중치 몇 개가 같은 구간으로 밀려 들어간 것입니다. 16개 구간에는 그렇게 많은 값을 담을 수 없으니 하나의 숫자를 함께 쓰게 되고, 원래 있던 차이는 사라집니다.

6.7%의 오차가 어떻게 눈에 보이는 품질 하락이 되나

가중치가 조금 옮겨진 것이 왜 답변 품질에 영향을 줄까요? 모델은 단어를 하나 쓸 때마다 여러 후보 중에서 점수가 가장 높은 것을 고르기 때문입니다. 대부분의 경우 1위가 압도적이라 조금 흔들려도 상관없습니다. 하지만 1위와 2위가 바짝 붙어 있는 순간이 반드시 있고, 그럴 때는 아주 작은 흔들림만으로도 둘의 순서가 뒤바뀝니다.

정밀도
추론 단계 수
위 두 실험은 절반은 정확한 계산이고 절반은 개념을 보여 주기 위한 예시입니다. 어느 쪽이 어느 쪽인지 여기서 분명히 밝혀 둡니다. 구간 수, 스텝 크기, 반올림 오차, 그리고 각 가중치가 어떤 값으로 옮겨지는지는 모두 양자화의 정의에서 곧바로 계산되는 값이라 직접 검산해 볼 수 있습니다. 반면 후보 확률, 흔들림의 크기, 그리고 마지막의 추론 사슬은 메커니즘을 설명하기 위해 구성한 예시이며, 어떤 모델의 실측 성능 하락도 아닙니다. 실제 오차가 가중치에서 출력까지 어떻게 전파되는지는 모델 구조와 구체적인 양자화 구현(그룹 크기, 민감한 레이어를 고정밀도로 남길지 여부 등)에 따라 달라지고, 어디에나 통하는 공식은 없습니다. 사슬 확률은 각 단계가 서로 독립이라고 가정하고 있지만, 실제 추론은 앞뒤가 서로 연관되어 있습니다. 그래서 이 숫자는 「단계가 많아질수록 왜 위험해지는가」를 이해하는 데에만 쓸 수 있고, 기대 정확도로 가져다 쓸 수는 없습니다.
이것이 바로 양자화의 손실이 균등하게 분포하지 않는 이유입니다. 일상 문답, 요약, 리라이팅 같은 과제에서는 INT4로 대체로 충분합니다. 대부분 한두 단계면 결과가 나오고, 어떤 단어가 비슷한 뜻의 다른 단어로 바뀌어도 읽는 데 지장이 없습니다. 하지만 긴 사슬의 추론이나 정확한 계산이 필요한 과제는 다릅니다. 앞에서 한 단계 틀리면 그 뒤가 전부 따라 틀립니다. 요구 수준이 높은 상황이라면, 한 단계 큰 모델을 INT4로 돌리기보다 한 단계 작은 모델을 INT8로 돌리는 편이 낫습니다.
두 가지 하드웨어, 두 가지 논리

NVIDIA 그래픽카드

  • VRAM을 독점하므로, 표기된 용량을 거의 그대로 쓸 수 있습니다
  • 대역폭이 높아 생성이 빠르고, 같은 크기 모델에서 체감이 확실히 매끄럽습니다
  • 용량이 절대적인 상한이고, 소비자용 카드는 현재 32 GB 정도가 최대입니다
  • 소프트웨어 생태계가 가장 성숙해서, 문제가 생겨도 대개 해법을 검색할 수 있습니다

Apple Silicon

  • CPU와 GPU가 통합 메모리를 공유하며, 시스템이 전부를 GPU에 넘겨주지 않습니다
  • 계산기는 할당 가능한 약 75%로 환산하며, 이는 보수적인 추정입니다
  • 용량 이점이 커서, 고급 모델은 소비자용 그래픽카드가 넘볼 수 없는 크기까지 담습니다
  • 대역폭은 보통 같은 가격대의 외장 GPU에 못 미쳐, 큰 모델에서 생성 속도가 다소 느립니다

간단히 말하면 NVIDIA는 속도로, Apple은 용량으로 승부합니다. 30B 이상의 모델을 돌리고 싶다면 메모리가 큰 Mac이 소비자용 그래픽카드보다 현실적인 경우가 많고, 응답 속도를 원한다면 외장 GPU가 더 적합합니다.

통합 메모리에서 GPU가 쓸 수 있는 비율은 macOS에서 iogpu.wired_limit_max로 조정할 수 있습니다. 75%는 기본 상태에서의 보수적 추정이며 절대적인 상한은 아닙니다.
MoE 모델의 특수한 점

결과 목록에서 A가 붙은 것은 MoE 모델입니다. 예를 들어 Qwen3-30B-A3B는 총 파라미터 30B에 매번 실제로 활성화되는 것은 3B라는 뜻입니다. 이런 모델에는 밟기 쉬운 함정이 하나 있습니다.

VRAM은 총 파라미터로 계산하고, 속도는 활성 파라미터로 계산합니다. 30B MoE 모델은 30B을 담을 VRAM을 준비해야 하지만, 실제로 돌아가는 속도는 3B에 가깝습니다. 자리는 많이 차지하고, 빠르게 돕니다.

즉 MoE는 VRAM이 넉넉하면서 빠른 응답을 원하는 상황, 예컨대 메모리가 큰 Mac에 특히 잘 맞습니다. 반대로 VRAM이 빠듯하다면 같은 점유량에서 덴스 모델 중 작은 것을 고르는 편이 더 이득입니다.

몇 가지 면책 설명

위의 모든 수치는 추정치이고, 실제 점유량은 다음 요인들에도 영향을 받습니다.

그래서 계산기가 주는 것은 실행 가능성 판단이고, 정확한 예산이 아닙니다. 결론이 「간신히」라면, 못 돌린다고 보고 준비하세요.

다음 단계

무엇을 돌릴 수 있는지 알았다면, 다음 절에서 실제로 설치합니다. 도구는 두 개입니다. 커맨드라인의 Ollama와 그래픽 인터페이스의 LM Studio로, 10분이면 끝까지 돌려볼 수 있습니다.