추론 속도 3배, 더 큰 모델이 아닌 더 똑똑한 구조가 답이다 — Gemma 4 MTP 드래프터가 여는 AI 성능의 새 시대

---

핵심 요약

구글이 Gemma 4 모델군에 MTP(Multi-Token Prediction) 드래프터를 오픈소스로 공개했다. 출력 품질 저하 없이 추론 속도를 최대 3배까지 높이는 이 기술은, 더 크고 무거운 모델을 만드는 방향이 아니라 기존 모델의 구조적 비효율을 제거하는 방향으로 AI 성능 경쟁의 축을 바꾸고 있다. 핵심 원리는 2023년 구글 연구진이 제안한 투기적 디코딩(speculative decoding)이며, 이를 실용적인 오픈소스 도구로 구현해 개발자 누구나 즉시 적용할 수 있게 했다는 점이 이번 발표의 진짜 의미다.

---

심층 분석 — 왜 이 기술이 지금 중요한가

LLM이 느린 이유는 연산 능력 부족이 아니다. 진짜 원인은 메모리 대역폭 병목이다.

표준 LLM은 자기회귀 방식으로 토큰을 하나씩 생성한다. 토큰 한 개를 만들 때마다 수십억 개의 모델 파라미터를 VRAM에서 연산 유닛으로 이동시켜야 하고, 그 사이 GPU 연산 코어의 대부분은 데이터를 기다리며 유휴 상태에 놓인다. 결과적으로 명백히 예측 가능한 단어조차 복잡한 논리 문제와 동일한 연산 비용을 치른다.

이 구조적 낭비를 정면으로 해결하는 것이 투기적 디코딩이다. 작동 방식은 다음과 같다.

먼저, 본 모델(예: 31B 파라미터급)과 함께 훨씬 가벼운 보조 모델인 드래프터를 병렬로 운용한다.
다음으로, 드래프터가 본 모델이 토큰 하나를 처리하는 시간 안에 여러 후보 토큰을 미리 예측한다.
그리고, 본 모델이 이 후보들을 단 한 번의 순방향 연산으로 동시에 검증한다.
마지막으로, 검증을 통과한 토큰은 한꺼번에 수락되고, 틀린 지점부터는 본 모델이 직접 다시 생성한다.

최종 출력은 항상 본 모델이 검증한 결과이므로 품질 저하가 원리적으로 발생하지 않는다. 새 하드웨어 투자 없이, 이미 놀고 있던 연산 자원을 활용하는 방식으로 속도가 올라간다.

---

드래프터 아키텍처의 두 가지 핵심 설계

MTP 드래프터의 빠른 예측 정확도 뒤에는 두 가지 핵심 설계가 있다.

첫째, KV 캐시 공유다.
드래프터는 본 모델의 중간 계산 결과(활성화)와 KV 캐시를 공유한다. 이전 맥락을 처음부터 다시 계산하는 낭비가 없고, 추가 메모리 사용도 최소화된다.

둘째, 엣지 모델용 임베딩 클러스터링이다.
스마트폰·IoT 기기용 경량 모델(E2B, E4B)에서는 수만 개 어휘 전체에 대한 확률 계산이 병목이 된다. 구글은 유사한 토큰끼리 묶어 후보군을 좁히는 클러스터링 기법을 적용해 이 병목을 별도로 해소했다.

---

하드웨어별 성능과 실전 고려사항

주요 추론 프레임워크 벤치마크에서 MTP 드래프터는 최대 3배의 토큰 생성 속도 향상을 기록했다. 그런데 여기서 중요한 실무 포인트가 있다. 하드웨어마다 최적 전략이 다르다는 점이다.

26B MoE 모델을 Apple Silicon에서 돌릴 때, 배치 크기 1에서는 전문가 라우팅 오버헤드로 속도 이점이 제한적이다. 그러나 배치 크기를 4~8로 올리면 최대 2.2배 속도 향상이 가능하다. NVIDIA A100 환경에서도 배치 크기가 클수록 유사한 개선이 나타난다.

이는 단순히 "모델을 받아서 실행하면 끝"이 아니라는 뜻이다. 단일 사용자 로컬 환경과 다중 요청을 처리하는 서버 환경에서 배치 크기 튜닝 전략이 달라야 하며, 이 차이가 실제 체감 성능을 좌우한다.

---

회사의 견해 — 이 기술이 업계에 던지는 진짜 질문

투기적 디코딩은 2023년에 이미 제안된 아이디어다. 그것이 2025년 지금 실용화되는 이유를 우리는 주목해야 한다.

오픈 모델 생태계가 성숙한 지금, "같은 모델, 같은 품질, 더 빠르게"는 단순한 기술 개선이 아니라 실제 사용자 확보와 직결되는 경쟁력이 됐다. 모델을 직접 운영하는 기업 입장에서 추론 비용은 곧 운영비용이고, 응답 속도는 사용자 이탈률에 직접 영향을 미친다.

특히 Apache 2.0 오픈소스 공개는 단순한 기술 나눔이 아니다. 이 최적화 기법이 특정 클라우드 벤더의 독점 이점이 아니라 생태계 전체의 공유 자산이 된다는 선언이다. 개발자 커뮤니티와의 신뢰를 쌓으면서 동시에 생태계 주도권을 확보하는 전략적 선택이기도 하다.

우리가 보기에, 이번 MTP 드래프터는 AI 성능 경쟁의 무게중심이 "모델 크기"에서 "추론 효율"로 이동하는 변곡점을 가시화한 사례다. 모델 파라미터를 두 배로 늘리는 것보다, 이미 있는 모델을 세 배 빠르게 돌리는 것이 실용적 우위를 만드는 시대가 됐다.

---

기업과 개발자에게 미치는 영향

MTP 드래프터의 실질적 영향은 도입 환경에 따라 달라진다.

① 코딩 어시스턴트·AI 에이전트 운용 기업: 다단계 응답이 요구되는 에이전트 워크플로우에서 응답 지연 감소는 사용자 경험 개선과 직결된다. 반복적인 API 호출 구조에서 누적 속도 이점이 특히 두드러진다.

② 온프레미스·로컬 LLM 운용 조직: 26B~31B급 모델을 개인 GPU나 사내 서버에서 운용하는 환경에서, 추가 하드웨어 투자 없이 실시간에 가까운 반응성을 확보할 수 있다.

③ 모바일·엣지 AI 서비스 개발팀: 출력 속도 향상은 연산 시간 단축으로 이어지며, 배터리 소모 감소라는 실질적 UX 개선까지 기대할 수 있다.

도입 시 가장 먼저 확인해야 할 것은 배치 크기 설정이다. 단일 요청 처리 환경과 동시 다발 요청 처리 환경에서 최적 배치 크기가 다르므로, 운용 환경을 먼저 정의하고 벤치마크를 진행하는 것이 선행되어야 한다.

---

향후 전망 및 제언

모델 크기 경쟁의 한계 비용은 점점 높아지고 있다. 반면 추론 효율 최적화 기술은 이미 학계에 축적된 연구 위에서 빠르게 실용화되고 있다. MTP 드래프터는 그 흐름의 유력한 신호탄이다.

앞으로 주목해야 할 방향은 세 가지다.

첫째, 투기적 디코딩 외에도 양자화(quantization), 프루닝(pruning) 등 다양한 추론 최적화 기법이 오픈소스화되면서 추론 효율이 모델 선택의 핵심 기준으로 부상할 것이다.

둘째, 엣지·모바일 AI 적용 범위가 빠르게 확대되면서, 저전력 환경에서의 추론 최적화 역량이 서비스 차별화 요소가 될 것이다.

셋째, Apache 2.0 같은 개방형 라이선스로 공개되는 최적화 도구들이 늘어날수록, 기업의 AI 운용 비용 절감과 내재화 전략 수립이 더욱 현실적인 과제가 된다.

비젠소프트는 이러한 AI 추론 효율화 기술의 실무 적용 가능성을 지속적으로 분석하고, 기업 환경에 맞는 최적화 전략을 함께 설계합니다. "더 크게"가 아닌 "더 효율적으로"라는 방향 전환이 실질적인 경쟁 우위를 만드는 시대, 그 변화의 흐름을 함께 준비하시기 바랍니다.

---