요즘 로컬 LLM을 돌리는 사람들 사이에서 가장 많이 나오는 질문은 “Qwen 4 언제 나와?“입니다. 저도 맥북에서 Qwen 모델을 매일 쓰다 보니 소식을 계속 따라가고 있는데, 정보가 공식 발표·코드 저장소·유출·루머로 뒤섞여 있어 한 번 정리해 두기로 했습니다. 아래는 2026년 11월 2일 기준으로 확인된 것과 아닌 것을 나눈 기록입니다.
TL;DR
- Qwen 4는 아직 공개되지 않았습니다. 11월 2일 17시(KST) 기준으로 Hugging Face Qwen 계정, OpenRouter, QwenLM GitHub 어디에도 Qwen4 가중치나 모델 ID가 없습니다(직접 조회).
- 공식 입장은 “학습 중"입니다. 9월 22일 항저우 압사라 콘퍼런스 보도자료에서 알리바바는 “Qwen 4가 학습 중"이라고 밝혔고, 다음 세대인 Qwen 4.5와 Qwen 5는 5조~10조 파라미터까지 키운다는 로드맵을 내놨습니다.
- 출시 시점 신호는 “이번 주"를 가리킵니다. 10월 29일 암스테르담 압사라에서 알리바바클라우드 CTO 리페이페이(Feifei Li)가 무대에서 “Qwen4 next week"라고 말했고, 발표 슬라이드에는 Qwen4-Max / Plus / Flash / 27B 네 이름이 “Coming Soon"으로 올라갔습니다. 다만 공식 채널 공지는 아직 없습니다.
- 아키텍처는 미리 공개돼 있습니다. 8월 24일 공개된 Qwen3.8-Flash-Next가 “Qwen4의 기반이 될 아키텍처의 실험적 프리뷰"입니다. 설정 파일의 model_type도 이미
qwen4_exp입니다. - **로컬 사용자에게 가장 중요한 모델은 Qwen4-27B(dense)**입니다. 인텔 GPU 커널 PR에서 이 모델이 INT4 1~2장, FP8 2장 구성으로 최적화된 흔적이 나왔습니다.
1. 지금까지의 타임라인
| 날짜 (2026) | 사건 | 신뢰도 |
|---|---|---|
| 8월 24일 | Qwen3.8-Flash-Next 공개. 모델 카드에 “Qwen4의 기반이 될 아키텍처의 실험적 프리뷰"라고 명시 | 공식 |
| 8월 31일 | vLLM 본가에 qwen4_exp 패키지 추가(Flash-Next 지원 PR #53896) | 공개 코드 |
| 9월 22일 | 항저우 압사라: “Qwen 4 학습 중”, Qwen 4.5와 Qwen 5는 5조~10조 파라미터 로드맵 | 공식 보도자료 |
| 10월 10일 | Qwen 개발자 계정 “big or small?” → “let’s do both!” 티저 | 공식 SNS(전언) |
| 10월 19~23일 | 인텔 XPU 커널 PR #22 “…optimize qwen4-27b” 머지 | 코드(다운스트림 저장소) |
| 10월 21일 | Arena에 익명 모델 “Kalmia” 등장, 토크나이저 특성이 Qwen 계열과 유사 | 미확인 |
| 10월 28일 | Qwen Code PR #15762: qwen4 계열 전체를 1M 컨텍스트로 인식하도록 수정 | 공식 저장소 |
| 10월 29일 | 암스테르담 압사라: CTO “Qwen4 next week”, 슬라이드에 Max/Plus/Flash/27B | 현장 전언 + 다수 매체 |
| 10월 31일 | Qwen Code PR #15987: qwen4 계열 추론 강도(low/medium/xhigh) 컨트롤 추가 | 공식 저장소 |
| 11월 2일 | 여전히 가중치·API 미공개 | 직접 조회 |
2. 알리바바가 공식적으로 말한 것
9월 22일 보도자료 원문 요지는 이렇습니다.
차세대 모델 Qwen 4는 현재 학습 중이다. 이어질 Qwen 4.5와 Qwen 5 시리즈는 5조~10조 파라미터까지 확장될 예정이다.
같은 자료에서 알리바바는 RSI(재귀적 자기개선) 진척도 공개했습니다. 한 달 넘게 완전 자동으로 돌린 결과, Qwen3.8-Max가 파이프라인 설계, 데이터 검증, 반복 실험, 오류 진단까지 스스로 수행하며 33회의 반복 사이클을 완료했다는 내용입니다. Qwen 4의 학습이나 후처리에도 이런 자동화 루프가 쓰였을 가능성이 높아 보입니다(추정).
반면 10월 29일 암스테르담 행사의 공식 보도자료는 네덜란드 리전 개설과 Qwen3.8-Flash의 EU 출시만 다뤘고, Qwen 4는 언급하지 않았습니다. “next week"는 무대 발언과 슬라이드에서 나온 정보입니다.
3. 라인업: 무엇이 나올까
압사라 슬라이드의 4종
| 모델 | 예상 성격 | 공개 방식(추정) |
|---|---|---|
| Qwen4-Max | 플래그십. 폐쇄형 최상위 모델과 경쟁 | API 전용 가능성 높음 |
| Qwen4-Plus | 중상위 범용 | API |
| Qwen4-Flash | 속도와 가격 중심. Flash-Next 계보 | API, 일부 오픈 가능성 |
| Qwen4-27B | dense 27B. 로컬·온프레미스용 | 오픈 웨이트 1순위 |
코드에서 추가로 발견된 ID
Qwen Code PR #15762 테스트 코드에는 슬라이드보다 많은 이름이 등장합니다.
qwen4-max,qwen4-plus,qwen4-max-2026-10-01(날짜 스냅샷)qwen4-coder-plus: 에이전트 코딩 특화qwen4-omni-120b-think: 멀티모달 추론. 옴니 테스트 픽스처에서 이미 세션 모델로 쓰이고 있음qwen4.5-max: 다음 마이너 버전까지 미리 등록qwen-latest-series-invite-202610-m6: 초대 전용 프리뷰 계열
이 PR은 qwen4로 시작하는 모든 ID를 컨텍스트 1,000,000 토큰으로 인식하도록 바꿨습니다. Qwen 4 계열의 기본 컨텍스트가 1M일 가능성이 크다는 강한 신호입니다. 다만 PR 작성자도 “models.dev 등 외부 카탈로그에 항목이 생기면 그쪽이 우선한다"고 적어, 최종 수치는 아닐 수 있습니다.
PR #15987은 qwen4 계열에 추론 강도 low / medium / xhigh를 붙이고 기본값을 xhigh로 정했으며, 생각(thinking) 끄기 옵션도 넣었습니다. Qwen 4가 추론 강도 조절형 하이브리드 사고 모델로 나올 것으로 보입니다.
이 밖에 Stealth Models는 3B 활성 소형 MoE(가칭 Qwen4-35B-A3B)가 있다는 2차 정보를 전했지만, 출처를 확인할 수 없는 루머입니다.
4. 아키텍처: Qwen3.8-Flash-Next로 보는 Qwen 4
Qwen 4를 이해하는 가장 확실한 방법은 이미 공개된 Qwen3.8-Flash-Next를 보는 것입니다. 공식 모델 카드에는 “Qwen4의 기반이 될 아키텍처의 실험적 프리뷰"라고 적혀 있고, config.json의 아키텍처 이름은 Qwen4ExpForConditionalGeneration, model_type은 qwen4_exp입니다(직접 확인).
4대 핵심 기술
① 하이브리드 어텐션: Gated DeltaNet + QSA(Qwen Sparse Attention)
- 48개 층을
12 × (Gated DeltaNet 3층 → QSA 1층)구조로 쌓았습니다. 4층 중 3층은 선형 어텐션입니다. - QSA는 토큰 단위가 아니라 마이크로 블록 단위로 볼 위치를 고릅니다. 4토큰 묶음으로 인덱스 키를 압축하고, 최대 512블록(2,048토큰)만 골라 실제 어텐션을 계산합니다.
- Qwen은 1M 토큰에서 QSA 커널 기준 프리필 최대 10.2배, 디코드 최대 6.6배 가속을 보고했습니다(SGLang 쿡북 인용).
② Gated Residual(하이퍼 커넥션)
- 잔차 스트림 하나를 4개 병렬 브랜치로 넓히고(저랭크 320), 데이터에 따라 각 층이 어느 브랜치를 읽고 쓸지 게이트로 조절합니다.
- Qwen 설명에 따르면 한 브랜치는 자연스럽게 장거리 정보를 나르는 “버스” 역할을 맡고, 게이트가 활성값 이상치를 눌러 잔차 상태를 FP8로 유지할 수 있습니다.
③ N-gram 임베딩(Engram)
- 2층에 51B 파라미터짜리 n-gram 조회 테이블(바이그램과 트라이그램 2천만 개)을 둡니다.
- 토큰 하나가 아니라 앞 토큰 몇 개를 묶은 문맥으로 조회하기 때문에, 연산량은 거의 늘리지 않고 파라미터만 키울 수 있습니다. MoE보다 CPU RAM이나 NVMe로 내려 두기(오프로딩)도 쉽습니다.
④ 학습 레시피
- 2차원 선형 가중치에는 Muon, 임베딩·라우터 등에는 AdamW 옵티마이저를 나눠 씁니다.
- 다시 맞춘 스케일링 법칙에 따라 배치 크기 워밍업 없이 처음부터 목표 배치로 학습합니다. SGLang 문서는 Qwen3.7-Plus 대비 학습 비용이 약 1/9이라고 적고 있습니다.
Flash-Next 사양 요약
| 항목 | 값 |
|---|---|
| 파라미터 | 125B(활성 6B) + n-gram 51B + MTP 4B |
| 전문가 | 512개 중 라우팅 10개 + 공유 1개 활성 |
| 히든 / 층수 | 2,560 / 48 |
| 컨텍스트 | 기본 262,144, YaRN으로 1,000,000까지 |
| 입력 | 텍스트 + 이미지(비전 인코더 내장) |
| 라이선스 | qwen-community-1.0 (Apache 2.0 아님) |
Flash-Next 공식 벤치마크(발췌)
| 벤치마크 | Flash-Next | Qwen3.8-27B | Qwen3.7-Plus | DeepSeek-V4-Flash | Claude Opus 4.6(Max) |
|---|---|---|---|---|---|
| SWE-bench Pro | 62.5 | 61.7 | 55.8 | 56.0 | 53.4 |
| SWE-bench Multilingual | 81.0 | 73.8 | 75.8 | – | 77.5 |
| Toolathlon Verified | 73.5 | 67.1 | 50.6 | 70.3 | – |
| GPQA Diamond | 91.7 | 89.2 | 90.3 | 90.8 | 91.3 |
| HLE | 35.9 | 30.8 | 34.7 | 33.8 | 40.0 |
| LiveCodeBench v6 | 91.9 | 90.3 | 89.6 | 90.6 | 88.8 |
| AndroidWorld | 84.5 | 81.9 | 81.0 | – | 62.0 |
출처: Hugging Face Qwen/Qwen3.8-Flash-Next 모델 카드. 자체 하네스(Claude Code, mini-SWE-agent) 평가 수치입니다.
활성 파라미터 6B짜리 모델이 코딩·에이전트 벤치마크에서 Qwen3.7-Plus(397B)를 앞섭니다. Qwen 4 정식판은 이 구조를 더 큰 규모로 키우고 학습을 더 오래 한 모델이 될 가능성이 큽니다.
5. Qwen4-27B: 인텔 커널 PR에서 새어 나온 정보
10월 23일, analytics-zoo/vllm-xpu-kernels(인텔 GPU용 vLLM 커널 다운스트림)에 PR #22 **“Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b”**가 머지됐습니다. 10개 커밋, 56개 파일 규모입니다.
PR 본문에서 직접 확인되는 것
- “Qwen4-27B dense”: MoE가 아닌 dense 모델
- TP2 FP8, TP1/TP2 INT4 SYCL 커널: INT4는 카드 1~2장, FP8은 2장
- MTP 드래프트 4토큰(배치 1) 디코드 최적화
- QSA 커널 경로 포함. 다만 “Qwen4 QSA 가중치를 받지 못해” 실제 가중치로 하는 엔드투엔드 검증은 못 했다고 명시
- 인텔 B70 8장 환경 중간 결과(10월 22일, 최종 성능 아님을 명시): TP2 FP8 기준 TTFT가 8K 입력에서 약 9.1초→5.2초, 32K 입력에서 약 37.4초→21.8초로 단축. GSM 20문항 샘플에서 FP8 13/20, INT4 14/20(표본이 작아 의미 없음을 명시)
커뮤니티의 형상 역추적(llama.cpp 이슈 #31072 등, 비공식)
| 항목 | Qwen3.8-27B | Qwen4-27B(추정) |
|---|---|---|
| 구조 | Dense | Dense |
| 히든 크기 | 5,120 | 5,120 |
| 어텐션 헤드 | Q 24 / KV 4, head 256 | 동일(TP2 기준 카드당 Q12/KV2) |
| 하이퍼 커넥션 | 없음 | 4 스트림, 랭크 320 |
| 희소 어텐션(QSA) | 없음 | 있음 |
| FFN 중간 크기 | 17,408 | 14,336(추정, 미확인) |
| MTP | 1층 | 있음(드래프트 4) |
정리하면 Qwen3.8-27B 골격에 Flash-Next의 새 기관(하이퍼 커넥션과 QSA)을 붙인 dense 모델로 보입니다. n-gram 테이블이 들어가는지는 아직 알 수 없습니다.
로컬 하드웨어 계산(Satyajit 분석 기준, 추정)
- INT4: 디코더 약 12.6GB. 임베딩과 LM 헤드를 BF16으로 두면 약 17.6GB → 24GB 카드 한 장에 들어감
- FP8: 약 29.4GB → 24GB 카드 한 장에는 못 들어가 2장 필요(PR의 TP2 FP8과 일치)
- KV 캐시: 전체 어텐션 16개 층만 캐시를 가지므로 토큰당 64KiB. 262K 컨텍스트에서 BF16 16GiB, FP8 8GiB
- 128GB 유니파이드 메모리 맥에서는 BF16 원본(약 54GB)도 여유 있게 돌릴 수 있습니다.
주의: 이 PR은 인텔 공식 본가(vllm-project)가 아니라 다운스트림 브랜치에 머지된 것이고, 알리바바는 아무것도 확인하지 않았습니다. “커널이 있다 ≠ 출시"입니다.
6. 루머와 가짜 벤치마크 가려내기
| 떠도는 주장 | 판정 |
|---|---|
| “Qwen 4 Max (Preview) 53점” Artificial Analysis 차트 | AA 공식 리더보드에 없음 → 근거 없음 |
| “Qwen4-Coder SWE-bench 82%” | 원문 페이지가 ‘예시용’ 수치라고 명시 → 가짜 |
| Kalmia = Qwen 4 | 토크나이저 테스트 8개 중 6개가 Qwen 특성과 일치. Qwen 계열일 가능성은 있지만 3.8 리프레시와 구별 불가 → 미확인 |
| “9월 출시” 유출(Geeky Gadgets 등) | 실제로 9월에는 출시되지 않음 → 빗나감 |
| Qwen 4 = 5조~10조 파라미터 | 공식 로드맵상 이 규모는 Qwen 4.5와 Qwen 5 얘기임 → 오해 |
7. 지금 할 수 있는 준비
- Qwen3.8-Flash-Next로 미리 써보기: Qwen 4 아키텍처를 지금 바로 돌려볼 수 있는 유일한 방법입니다.
- llama.cpp: 본가 지원이 들어오기 전까지는 Unsloth
qwen4exp/qwen3.8-flash-next브랜치를 사용합니다. GGUF는 UD-Q4 계열이 약 111GB이고 원본과 상위 토큰 일치율이 약 93%입니다. n-gram 테이블은 4비트 밑으로 양자화하지 않아 저비트 파일도 생각보다 큽니다. - vLLM/SGLang: NVFP4 체크포인트(약 126GiB, 이 중 n-gram FP8 테이블이 47.7GiB). n-gram 테이블을 호스트 RAM이나 NVMe로 오프로딩할 수 있습니다.
- 주의: GB10(DGX Spark) 계열에서 QSA top-k 커널이 비결정적 출력을 내는 버그가 보고됐습니다.
torch.topk기반 패치로 해결됩니다.
- llama.cpp: 본가 지원이 들어오기 전까지는 Unsloth
- 추론 엔진 업데이트 대기: Qwen4-27B는 기존 Qwen3.x 로더로는 못 돌리고, 하이퍼 커넥션과 QSA 인덱서 코드가 필요합니다. 출시 직후에는 vLLM과 SGLang이 먼저 지원하고 llama.cpp는 조금 늦게 따라올 가능성이 높습니다.
- 라이선스 확인: Flash-Next는 Apache 2.0이 아니라 qwen-community-1.0입니다. Qwen 4 오픈 모델의 라이선스는 아직 미정이니 상업적으로 쓸 계획이라면 출시 당일 꼭 확인해야 합니다.
- API 사용자: Qwen Code 기준 모델 ID는
qwen4-max,qwen4-plus형태가 유력하고, 추론 강도 파라미터는 xhigh가 기본입니다.
8. 전망
- 출시 창: 11월 2~8일이 유력합니다. Qwen 팀은 X 게시물 하나와 Hugging Face 가중치로 조용히 공개하는 경우가 많아, 공지 없이 바로 나올 수도 있습니다.
- 예상 공개 방식: 27B(그리고 Flash 계열 일부)는 오픈 웨이트, Max와 Plus는 Model Studio와 Qwen Cloud API로 나올 가능성이 높습니다(이전 패턴 기반 추정).
- 성능 기대치: 외부 측정치는 아직 없습니다. Stealth Models는 “Qwen 3.8 점수 대비 약 +10점(범위 7~13점)“을 예측했는데, 이는 어디까지나 예측입니다.
- 큰 그림: Qwen 4의 핵심은 “더 크게"가 아니라 **“더 효율적으로”**입니다. 희소 어텐션, 넓힌 잔차, n-gram 메모리라는 세 축으로 같은 연산량에서 더 많은 용량과 더 긴 컨텍스트를 확보하려는 방향이고, 진짜 규모 확장(5조~10조)은 Qwen 4.5와 5의 몫으로 예고돼 있습니다.
출처
공식
- 알리바바클라우드 보도자료(2026-09-22) “Alibaba Unveils Roadmap on Full-Stack AI Strategy”: https://www.alibabacloud.com/press-room/alibaba-unveils-roadmap-on-full-stack-ai-strategy
- Qwen3.8-Flash-Next 모델 카드·config: https://huggingface.co/Qwen/Qwen3.8-Flash-Next
- Qwen Code PR #15762(qwen4 1M 컨텍스트): https://github.com/QwenLM/qwen-code/pull/15762
- Qwen Code PR #15987(qwen4 추론 강도): https://github.com/QwenLM/qwen-code/pull/15987
기술 문서
- SGLang 쿡북 Qwen3.8-Flash-Next: https://docs.sglang.io/cookbook/autoregressive/Qwen/Qwen3.8-Flash-Next
- NVIDIA NeMo AutoModel: https://docs.nvidia.com/nemo/automodel/model-coverage/large-language-models/qwen/Qwen3.8-Flash-Next
- NVIDIA Dynamo 레시피: https://docs.nvidia.com/dynamo/dev/recipes/qwen-3-8-flash-next.md
- DataCamp 로컬 실행 튜토리얼: https://www.datacamp.com/tutorial/run-qwen3-8-flash-next-locally
보도·분석
- Nvdium(암스테르담 압사라 현장): https://nvdium.com/en/articles/981102567
- HuggingNews: https://huggingnews.com/ai/alibaba-cloud-to-release-new-qwen4-ai-models-next-week-b906e052
- OmniaKey(11/1 카탈로그 점검): https://omniakey.com/blog/qwen-4-release-date
- LuminaBench(Qwen Code 준비 흔적): https://luminabench.com/journal/qwen-4-release-preparations
- Satyajit(커널 PR 검증·하드웨어 계산): https://ai.thesatyajit.com/articles/qwen4-27b-vllm-xpu
- IAMag(27B 아키텍처 유출): https://iamag.it/en/news/qwen4-27b-architecture-leak-intel-kernel-pr
- 후슈(虎嗅): https://www.huxiu.com/article/4900440.html
- Stealth Models Qwen 4 트래커: https://huggingface.co/stealth-model/Qwen4
- NVIDIA 포럼(QSA 비결정성 버그): https://forums.developer.nvidia.com/t/qwen3-8-flash-next-nvfp4-single-spark/381500
표기 기준: “공식"은 알리바바·Qwen 문서와 저장소, “추정"은 필자 또는 인용 분석가의 계산이나 추론입니다. 숫자는 모두 위 출처에 실제로 있는 값만 옮겼습니다.
표지 사진: David290 / Wikimedia Commons, CC BY-SA 4.0
정식 발표 이후의 비용·벤치마크 분석은 Qwen4-Max 발표 분석에 별도 글로 남겼습니다.

댓글