M3 Ultra 맥 스튜디오 로컬 LLM 후기 with 256GB 통합메모리

로컬 LLM 구동을 위해 맥 스튜디오를 구매했다.

오늘은 이 무시무시한 짐승에 LLM을 굴려본 후기를 풀어본다.

후기 말고도 이것저것 잡다한 내용이 포함이다.

 

하드웨어

구매한 사양은 아래와 같다.

M3 Ultra 컷칩

256GB 통합메모리

1TB SSD

나머지는 맥 스튜디오 사양을 보면 좋다.

 

하드웨어와 관련된 이야기 보따리가 좀 큰데, 먼저 초심자를 위한 간단한 내용부터 시작해 보도록 하자.

LLM은 뭘까?

한마디로 당신이 ChatGPT에서, 구글 Gemini에서 채팅을 통해 이야기를 나누는 그 AI이다.

단어를 보자면 Large Language Model. 짱큰 언어 모델이다.

AI는 기본적인 뉴럴네트워크 구조를 어떻게 배치, 어떻게 학습하냐에 따라 용도가 천차 만별이다.

텍스트로 말을 하는 LLM 말고도 음성으로 말하는 TTS AI모델, STT, ASR, T2I, T2V, I2V부터 이상진단, 패턴 분류, 게임 AI... 끝도 없다.

그중에서 [네트워크가 짱 큰] [말을 할 줄 아는] [모델] 이라 해서 LLM인것이다.

 

로컬 LLM은 이 AI를 웹에서 채팅으로 사용하는것을 넘어 모델 자체를 내 컴퓨터에서 직접 실행하는것이다.

유튜브만 보다가 PC에 있는 동영상을 트는것과 같다.

 

어떤 컴퓨터로 구동할까?

그럼 이 LLM이라는것을 구동하기 위해 어떤 하드웨어를 사용할까?

하나도 GPU 둘도 GPU다. 셋은 GPU가 사용하는 메모리 용량이다.

GPU 성능과 VRAM 용량이 중요하다.

일반적인 PC의 외장 GPU 메모리 용량은

적게는 2~4GB, 보통 8~12GB, 컴터에 신경좀 썼다 16GB, 신경도 쓰고 돈도 썼다 24~32GB 정도다.

그리고 LLM을 구동하기 위해 필요한 VRAM용량은 적게는 1GB부터 많게는 1TB도 필요하다.

VRAM이 1TB라니, 내 PC 램이 32기가에 SSD가 1테라인데 농담따먹냐고?

안타깝게도 현실이다. 용량이 커질수록 모델의 성능이 올라간다.

8~60GB 사이에서도 쓸만한 모델은 있지만 진정한 SOTA급은 체급도 예술의 경지에 이르렀다.

 

그럼 1TB, 아니 하다못해 100GB짜리 모델은 어떻게 돌리냐?

 

컴퓨터 견적을 맞춰보자.

32GB 램을 가진 5090 (600만원)을 4개를 사면된다. 아니면 5060 ti 16GB를 7개 사던가

어이쿠 5090이 4개나 있으니 1600W짜리 파워도 2개는 사야한다.

이런 꼽을데가 없군 PCIe x16 슬롯이 최소 4개 있는 메인보드를 사야한다.

이런 그럼 서버/워크스테이션 CPU를 사야하는군! 이렇게 몇천이 깨진다.

 

물론 대안이 몇개 있다.

 

DGX spark

호환성을 조금 포기하고 가성비를 원한다면 전용 컴퓨터가 있다.

128GB 통합메모리를 가지고 있고 가격은 700만원 이다.

두개를 엮어서 256GB의 VRAM을 구축할 수도 있다.

대신 GPU 성능은 걸출하지만 낮은 메모리 대역폭으로 인해 추론 속도가 떨어진다.

 

애플 실리콘(맥미니, 맥북, 맥 스튜디오)

애플 기기도 LLM을 구동하기에 좋은 옵션이다.

플랫폼에 따라 다르지만 맥 스튜디오는 최대 512GB라는 통합메모리 옵션이 있다.

단일시스템으로는 상상하기 힘든 용량이다.

동일한 통합메모리 구성이지만 비교적 메모리 대역폭이 높아 추론속도가 높다.

하지만 GPU 성능이 부족해 프롬프트 프로세싱 시간이 길다는 단점이 있다.

 

세 옵션을 정리 비교하면 아래와 같다

 

	x86 데스크탑 PC	DGX Spark	맥 스튜디오
가격	예술의 경지, 수천만원	700만원	128GB 기준 500중반
프롬프트 프로세싱 속도	빠름	보통	느림
추론	빠름	느림	보통
전력소모	~4000W	~200W	~250W
사용 환경	윈도우/리눅스	리눅스	Mac OS

 

필자는 일단 다양한 LLM을 사용해보자! 라는 생각으로 맥 스튜디오를 선택했다.

 

통합메모리

DGX Spark에서도, 맥에서도 언급한 통합메모리. 이게 대체 뭘까?

개념 자체는 새로운것이 아니다. 간단하게 내장그래픽을 사용하는 시스템이란 뜻이다.

예로 외장 그래픽이 없는 PC는 내장 GPU로 화면이 나오게 된다.

이 내장그래픽은 필요한 메모리를 시스템 메모리에서 가져다 쓰게된다.

같은 방식으로 맥 스튜디오, DGX에 들어가는 내장그래픽 성능이 외장그래픽 성능까지 나오니

와! 성능은 외장그래픽에 VRAM 용량이 수십 GB까지 된다! 가 되어서 램 용량에 목메는 LLM 구동에 한줄기 빛이 된 것이다.

다만 만능은 아닌것이 특성상 속도가 떨어지기 때문에 메모리 대역폭을 많이타는 환경은 그대로 성능에 반영된다.

 

맥 스튜디오

그렇게 구매한 맥순이를 간단하게 보자.

생각보다 크고 무겁다.

손잡이가 달려있어 비교적 쉽게 옮길 수 있다.

디자인은 엄청 큰 맥미니같이 생겼다. 우람하고 무겁다.

전원버튼은 후면에 있어 비교적 쉽게 접근 가능하다.

맥미니는 가벼워서 하단에 있어도 괜찮지만 맥순이는 절대로 불가능한걸 안듯 하다.

전후면 모두 TB5 단자이고 HDMI는 한개밖에 없어서 추가 모니터는 C타입으로 해결해야 한다.

그래도 A타입이 있어 유니파잉을 허브없이 달 수 있다는점이 좋았다.

후면엔 방열을 위한 배기구가 있는데 이쪽 마감이 참 기분이 좋다.

M3 ultra, 256GB. 대 황금메모리 시대에 256GB 시스템이라니.

좋아 이제 LLM을 돌려보자.

 

로컬 LLM 후기

하드웨어 후기

당연하게도 256GB의 메모리는 인상깊다.

로컬 AI용으로 자주 쓰이는 대부분의 모델은 넉넉하다 못해 BF16 형식으로도 올릴 수 있다.

100B 내외 모델은 두세개도 가능하고, 일반적인 양자화라면 400B, Q2나 Q1 까지 내리면 1T 모델도 가능하긴 했다.

이정도 쯤되니 두가지 하드웨어적 병목이 생긴다.

1. 모델 로딩 속도

SSD에서 모델을 불러올땐 당연하게도 모델을 전부 읽어다가 메모리에 올려야 한다.

큰 모델은 200~220GB 정도 하는데 이걸 다 읽고 메모리에 올려야 된다는것이다.

M3U 맥순이에 달린 SSD는 최대 8GB/s 정도 속도이기 때문에 모델을 불러오는데만 30초 정도가 소요된다.

명백한 하드웨어적 병목이라 어떻게 대처할 수도 없다.

빠른 NVMe SSD는 일반적인 상황에선 3.0이든 4.0이든 심지어는 Sata SSD든 체감 차이가 크지 않지만, 이 워크로드 에서 만큼은 PCIe 5.0 SSD가 절실하다.

 

2. GPU 성능

이 병목은 크게 두가지 부분에서 체감이 된다.

A. 프리필 단계

B. Dense 모델 사용시

일단 프리필 성능이 처참하다. 간단한 첫 질문은 괜찮지만 온갖 시스템 프롬프트와 지시문을 덕지덕지 붙이고 히스토리가 길어지면 프리필로만 몇분이 걸린다. 심지어 concurrent를 여러개를 두더라도 프리필이 진행되는 동안에는 다른 작업이 모두 멈추기 때문에 사실상 병렬처리가 불가능하다. (LMstudio 기준)

또 Dense모델 사용시 체감 디코딩 속도가 엄청 떨어진다. MOE야 구조상 속도가 빠른것은 맞지만 MOE 정도는 되어야 40tk/s정도 넘게 나온다. Dense로 넘어가면 파라미터수가 적어도 체감 속도가 확 떨어진다.

이런점에서 보면 M5 Ultra... 너무 마렵다...

모델 후기

하루건너 새로운 모델이 나오는 세상이라 금방 낡은 정보가 되겠지만 기억나는대로 간단히 후기를 남겨본다.

• GLM-5 Q2

무지막지한 크기로 인해 Q2_S정도 크기로 겨우 돌려볼 수 있었다.

SoTA급을 호소하는 성능과 파라미터 빨로 쓸만한 성능을 보여줬다.

한글 출력도 거의 오류없이 잘 나오고 대충 말해도 잘 알아듣는다.

하지만 Claude나 Gemini, GPT처럼 독자 SOTA급 모델인지는 잘 모르겠다.

그 성능에 비해 파라미터가 너무 커서 효율이 떨어진다는 생각이 드는 모델이다.

• Kimi 2.5 Q1

또다른 SOTA 호소 모델인 Kimi 모델이다. 1T 파라미터 모델로 유명하다.

덕분에 Q1 양자화로 겨우 돌려볼 수 있었다.

구동하자마자 매우 실망한 모델이다. 한글과 영어, 중국어가 잔뜩 섞여 나왔기 때문이다.

모델 자체 지능 수준은 준수한것 같으나 한출에 큰 어려움이 있었다.

영문으로 에이전트용으로 사용하거나 저렴한 가격에 클라우드 모델을 사용하는것이 아니면 로컬에서는 메모리가 아까운 모델.

• Mini max

이쪽은 Kimi보다 더 심하다. 모델 사이즈는 비교적 만만하지만 똑같이 언어가 섞이는 문제가 있다.

오히려 조금 더 심한 수준.

바로 삭제했다.

• llama 3.x

오래되기도 했고 성능도 처참한 모델이다. 초창기 오픈모델 LLM이 적던시절 구동가능한 LLM이라는것에 의미가 있었지, 현재와서 쓸 이유는 없다.

• qwen 3

qwen3 아키텍처를 사용한다면 파라미터 선택지도 넓고 한국어 성능도 상당하다.

3.5 모델이 나오면서 쓸 이유는 없어졌다.

• qwen 3.5

최애 모델이다. 선택폭도 다양하고 Dense 모델과 MoE가 둘다 있어서 필요에 따라 선택해서 가용할 수 있다.

특히 9B 27B 모델은 적은 파라미터 수에도 불구하고 한국어 성능과 지능 수준이 매우 만족스럽다.

이정도면 로컬에서 쓸만 하겠다 수준.

하지만 Dense모델이라 맥에서는 조금 느리고 16GB쯤 하는 GPU에 9B 모델을 올리면 60tk/s정도로 쓸만하다.

맥에서는 사용 환경에 따라 35B나 122B MoE 모델을 사용하는게 좋을것 같다.

추가로 OCR 성능하나는 SOTA급이기도 하다.

• TranslateGamma

이쪽은 뭐가 좋은지 모르겠다.. 그냥 Gemma 같은 느낌.

Gemma는 딱 정직하게 응답이 나오는 느낌인데 Dense 모델이라 속도가 느린게 흠이다.

가끔씩 무한루프에 빠지는 경우가 있고 지능자체는 qwen3~qwen3.5 사이정도 같다.
gemma의 출시 시기를 생각하면 놀라운 부분.

• Nemotron Nano

엔비디아에서 출시한 모델.

생각보다 괜찮았다. 한국어도 잘 나오고, 특히나 속도가 매우 빠르다.

qwen3.5에서 60tk/s라면 nemotron nano에서는 90tk/s 정도.

• GPT-OSS 120B, 20B

의외로 후기에서 자주 보이는 모델이라 한번 사용해봤다.

한국어를 잘하기는 하나 10%쯤 아쉬운 정도이고 지능 수준은 qwen3하고 비슷한 수준인것 같다.

검열이 빡세서 heretic모델같은 변형을 사용할경우 일반적인 대화에서도 느껴지는 답답함이 사라져서 좋았다.

 

최종적으로는 Qwen3.5 모델중 120B의 heretic 모델로 정착할 것 같다.

 

활용

멀티에이전트 중

필자는 OMO의 writer 작업에 로컬 LLM을 연결해 사용했다.

작업의 속도가 빠르지 않아도 되고 요구하는 지능 수준도 높지 않기 때문.

explorer나 librarian에도 할당해 보았으나 이쪽은 호출 빈도가 매우 높기 때문에 프리필 단계가 계속 겹치며 전체적인 진행속도가 급격하게 느려지는 문제가 있었다.

RP

부적합하다. 먼저 초장부터 잔뜩 먹이고 가는 프롬프트의 양으로 인해 프리필 단계가 너무 길다.

지능 수준도 output 규격을 잘 맞추지 못하는 경우도 허다하고 표현도 세심하지 못했다.

heretic 모델을 사용한다면 프롬중 일부를 절감하는 이득을 볼 순 있겠으나 단점을 상쇄할정도는 되지 못했다.