AI 오픈소스 저장소의 설치 문서는 대부분 같은 줄로 시작합니다. “NVIDIA GPU + CUDA 12.x 이상 필요.” 영상 생성 모델 LTX-2.5의 권장 사양은 A100 80GB 또는 H100입니다.
제가 쓰는 건 맥북 프로 M5 Max(통합 메모리 128GB) 입니다. 엔비디아 GPU가 없으니 CUDA도 없습니다. 그래도 지난 석 달 동안 이 맥 한 대로 사내 업무 보조용 LLM 서버와 영상 생성 모델을 매일 돌렸습니다. 무엇이 되고 무엇이 안 되는지, 기록해 둔 실측 숫자로 정리합니다.
처음에는 “최신 CUDA 툴킷을 맥에서 써본 사용기"를 쓰려 했습니다. 그런데 설치 흔적을 확인해 보니 이 맥에는
nvcc도 CUDA 폴더도 없었고, 있을 수도 없었습니다. 그래서 방향을 바꿔 **“CUDA 없이 어떻게 버텼나”**를 씁니다.
TL;DR
- 애플 실리콘 맥에서는 CUDA를 설치할 수 없습니다. 엔비디아는 CUDA 10.2를 끝으로 macOS 지원을 접었고, 애플 실리콘에는 엔비디아 GPU가 없습니다.
- 대신 PyTorch의 MPS(Metal 백엔드)와 애플의 MLX로 대부분 돌아갑니다.
- LLM 서빙은 MLX 기반 서버로 일상 사용 충분: 생성 중앙값 약 46 tok/s(짧은 프롬프트 피크 81 tok/s).
- **영상 생성(LTX-2.5)**은 그대로는 멈췄고, 어텐션을 잘게 나누고 매 조각마다 GPU 동기화를 넣고서야 완주. 8초 영상 약 20분.
- 엔비디아 전용 도구(NVBit 같은 GPU 바이너리 분석 도구, FlashAttention·FP8 커널)는 대체 수단이 없습니다.
- 128GB 통합 메모리는 **“큰 모델을 올릴 수 있다”**는 장점이 확실하지만, GPU 하나를 여러 작업이 나눠 쓰면 서로 굶깁니다.
왜 맥에는 CUDA가 없나
CUDA는 엔비디아 GPU 전용 프로그래밍 환경입니다. 예전 인텔 맥에는 엔비디아 그래픽카드가 들어간 모델이 있어서 CUDA가 돌았지만, 엔비디아는 CUDA 10.2(2019년)를 마지막으로 macOS 지원을 끝냈습니다. 2020년부터 나온 애플 실리콘(M1~M5) 맥은 GPU가 칩 안에 통합돼 있고, 이 GPU는 애플의 Metal로만 다룹니다.
그래서 맥에서 AI를 돌리는 길은 두 갈래입니다.
| 경로 | 무엇 | 언제 쓰나 |
|---|---|---|
| PyTorch MPS | PyTorch가 CUDA 대신 Metal로 연산 | CUDA용으로 쓰인 PyTorch 코드를 거의 그대로 돌릴 때 |
| MLX | 애플이 만든 배열 프레임워크(통합 메모리 전제) | LLM 추론·서빙처럼 맥에 맞춰 다시 짠 코드가 있을 때 |
| llama.cpp (Metal) | GGUF 모델을 Metal로 추론 | 가볍게 모델 하나 띄울 때 |
엔비디아의 연구용 도구도 같은 처지입니다. 예를 들어 GPU 기계어에 측정 코드를 끼워 넣는 NVBit은 최신 1.8.1(2026년 9월)이 빌드 방식을 CMake로 바꾸는 등 꾸준히 갱신되지만, 요구 사항이 “CUDA 12.0 이상, 리눅스 x86_64/aarch64"입니다. 맥에서는 받아 볼 수는 있어도 쓸 수는 없습니다.
실측 1 — LLM 서버: 일상 업무에는 충분
업무 보조 에이전트(메일 정리, 일정·할 일 추출, 문서 요약)는 맥에서 MLX 기반 로컬 서버(oMLX)로 돌립니다. 기록해 둔 숫자입니다.
| 항목 | 값 | 비고 |
|---|---|---|
| 생성 속도 중앙값 | 약 46 tok/s | 서버 버전 업그레이드 후(이전 약 30 tok/s, +54%) |
| 짧은 프롬프트 피크 | 81 tok/s | 일상 중앙값 아님 |
| 8만 토큰 이상 긴 입력 | 평균 약 32 tok/s | 34건 평균 |
| 모델 상주 메모리 | 약 73GB | 128GB 중 |
사람이 읽는 속도보다 충분히 빠릅니다. 다만 숫자를 읽을 때 함정이 있었습니다.
- 헬스체크 요청이 통계를 오염시킵니다. 1토큰짜리 상태 확인 요청이 로그의 절반을 넘는 시간대가 있어서, 그대로 중앙값을 내면 엉뚱한 값이 나옵니다.
- “느려졌다"의 정체는 대부분 동시 요청 겹침이었습니다. 시간대별 속도가 3
15 tok/s로 떨어진 구간을 보면 엔진 고장 같지만, 같은 시간에 요청이 23개 겹쳐 있었습니다.
실측 2 — 영상 생성: 그대로는 안 되고, 고쳐서 됐다
진짜 고생은 영상 생성 모델 LTX-2.5였습니다. 공식 권장은 A100 80GB·H100이고, 맥에서는 MPS로 돌려야 합니다.
처음 증상: 2단계 생성의 첫 스텝 근처에서 메모리 사용량이 132GB를 넘기며 진행이 멈췄습니다. 128GB 맥에서 스왑까지 끌어다 쓰다가 정체되는 상황입니다.
원인과 해결: 어텐션 연산을 한 번에 하지 않고 쿼리 256개씩 잘라서 계산하게 바꿨습니다. 그런데 자르기만 해서는 여전히 멈췄습니다. Metal은 명령을 큐에 쌓아 두고 나중에 실행하는데, 조각마다 메모리가 누적됐기 때문입니다. 조각마다 torch.mps.synchronize()로 GPU 작업을 비우게 하자 공식 2단계 경로가 끝까지 돌았습니다. 결과 값은 원래 방식과 수치상 동일한지(fp32 오차 1.6×10⁻⁷ 미만)도 확인했습니다.
| 영상 길이 | 렌더 시간(실측) |
|---|---|
| 2초 | 약 225~309초 |
| 8초 | 약 1,180~1,220초 (약 20분) |
렌더 중 프로세스 메모리는 약 120GiB, 시스템 스왑은 43GiB까지 쌓였습니다. 그래도 5초 단위로 보면 실제 스왑 입출력은 거의 없어서, “스왑 크기 = 디스크 병목"으로 단정할 수는 없었습니다.
H100이었다면 몇 분 걸릴 일이라고 생각하면 느립니다. 하지만 80GB짜리 데이터센터 GPU 없이 노트북 한 대로 완주했다는 점에 의미를 둡니다. 그리고 FP8·FlashAttention처럼 엔비디아 전용 가속 기능은 맥에서 같은 속도로 쓸 수 있다고 기대하면 안 됩니다.
실측 3 — GPU 하나를 나눠 쓰면 서로 굶는다
통합 메모리 128GB는 큰 모델을 올리기엔 넉넉하지만, GPU는 하나입니다. 영상 렌더가 도는 동안 LLM 서버 속도가 약 52 tok/s에서 2 tok/s 아래로 떨어진 적이 있습니다. 서버는 CPU 0%로 멈춘 것처럼 보였고, 요청은 응답 없이 매달렸습니다. 고장이 아니라 GPU 명령 대기였습니다.
이걸 서버 재시작으로 해결하려 하면 진행 중이던 작업만 날아갑니다. 지금은 원칙을 정해 운영합니다.
- 무거운 렌더는 밤 시간(19시~06시) 큐로 몰아서 돌린다.
- 이미지·영상 엔진은 쓸 때만 켜고 끝나면 내린다.
- “느려졌다"는 신고가 오면 재시작 전에 다른 GPU 작업부터 확인한다.
그래서, 맥으로 로컬 AI 해도 될까
| 하려는 일 | 맥(M5 Max 128GB) 판정 |
|---|---|
| LLM 추론·업무 보조 에이전트 | ◎ 충분. MLX 쪽 생태계가 빠르게 따라옴 |
| 이미지 생성 | ○ 실용 수준 (장당 약 1분) |
| 영상 생성 | △ 되지만 느리고 코드 수정이 필요할 수 있음 |
| 모델 학습·대규모 파인튜닝 | × 엔비디아 쪽이 압도적 |
| CUDA 전용 도구(NVBit, FP8 커널 등) | × 대체 불가 |
엔비디아 GPU가 AI의 표준인 건 당분간 변하지 않을 겁니다. 하지만 **“추론만 하는 사용자”**에게는 CUDA가 필수 조건이 아니게 됐습니다. 대신 문서에 “CUDA 필요"라고 적힌 저장소를 만나면, 맥에서는 MPS로 돌아가는지, MLX 이식판이 있는지부터 찾아보는 습관이 생겼습니다.
출처
- NVIDIA CUDA Toolkit Release Notes
- NVlabs/NVBit — GitHub (v1.8.1 릴리스)
- PyTorch MPS backend 문서
- ml-explore/mlx — Apple MLX
- LTX-2 시스템 요구사항
- Lightricks/LTX-2 — GitHub
본문의 속도·메모리 수치는 제 맥북 프로 M5 Max(128GB) 한 대에서 측정한 값이며, 다른 기기에서의 성능을 보장하지 않습니다.
표지 사진: 极客湾Geekerwan / Wikimedia Commons, CC BY 3.0
로컬 LLM 머신을 구성할 때 실제로 문제가 되는 메모리 값 이야기는 메모리 쇼티지는 끝나지 않는다에 있습니다.

댓글