DiffuSpace Clover-35B-A3B 공개 — 오픈소스 확산 모델, 에이전트 벤치마크 석권
공개 내용
DiffuSpace는 2026년 10월 28일 공식 블로그에서 확산 언어 모델 Clover의 첫 버전을 공개했습니다. 모델명은 Clover-35B-A3B-Preview입니다. 총 350억 개 파라미터에 토큰당 30억 개 활성 파라미터를 쓰는 혼합 전문가(MoE) 구조이며, 컨텍스트 길이는 131,072 토큰입니다.
기반 모델은 알리바바 Qwen3.6-35B-A3B입니다. 라이선스는 Apache-2.0으로 공개됐으며, 가중치와 코드는 Hugging Face와 GitHub, ModelScope에서 받을 수 있습니다. 확산 모델이 350억 파라미터 규모에서도 자가회귀 모델과 견줄 수 있는지를 검증하려는 시도로 읽힙니다.
블록 확산 생성 방식
Clover의 생성 방식은 블록 확산입니다. 32개 토큰 단위 블록을 병렬로 채우고, 신뢰도가 높은 위치부터 확정합니다. 기본 설정은 block_size=32, threshold=0.95입니다. 한 토큰씩 왼쪽에서 오른쪽으로 생성하는 자가회귀 방식과 달리, 블록 안에서는 여러 위치를 동시에 채우는 구조입니다.
에이전트 벤치마크 결과
DiffuSpace가 발표한 에이전트 벤치마크 점수는 다음과 같습니다. SWE-bench Verified 73.6, Terminal-Bench 2.1 51.7, τ³ Overall 65.3, BFCL-v4 67.9입니다. DiffuSpace는 비교한 6개 에이전트 벤치마크에서 모두 가장 높은 점수를 기록했다고 밝혔습니다. 다만 이 수치는 DiffuSpace 자체 발표이며, 독립 검증 결과는 아직 없습니다.
일반 능력 점수도 함께 공개됐습니다. GPQA Diamond 83.8, ZebraLogic 95.8, AA-LCR 72.0, MMLU-Pro 84.8입니다. 에이전트 작업뿐 아니라 추론·논리·지식 영역에서도 높은 점수를 주장하는 구성입니다.
속도와 실행 조건
속도는 단일 NVIDIA GB300 GPU, BF16, batch size 1 조건에서 측정했습니다. 내부 에이전트 작업 기준 680 tokens/s입니다. 단일 H200에서는 에이전트 작업 515 tokens/s로, DFlash2를 쓴 동급 Qwen의 365 tokens/s보다 빠릅니다. 확산 구조가 속도 손해 없이 동급 자가회귀 모델을 앞지를 수 있는지를 보여주는 수치로 제시됐습니다.
실행 조건은 무게가 있습니다. BF16 가중치 용량은 약 69GB라, 온전한 실행에는 고성능 GPU가 필요합니다. 대신 INT4 양자화로는 16GB 메모리의 RTX 5070 Ti에서도 동작하며, 이 조건에서 MATH-500 속도는 101.8 tokens/s입니다. 로컬에서 직접 실행하고 응용을 시험해 보는 진입로는 양자화 버전이 열어주는 셈입니다.
배경
DiffuSpace 팀은 홍콩대학교 자연언어처리 연구실의 Dream 7B에서 출발했습니다. Dream 시리즈는 Hugging Face에서 누적 270만 회 이상 다운로드됐습니다. 소규모 확산 모델로 시작해 35B 규모로 키웠을 때의 성능을 확인하는 흐름으로 이어집니다.
아직 공개되지 않은 점
Preview 버전입니다. 벤치마크는 DiffuSpace 자체 발표 수치이며, 독립 검증 결과는 아직 없습니다. 함께 예고한 결정 모델은 아직 공개되지 않았고, 공개 시점도 미확인입니다. SGLang 구현과 단독 PyTorch 경로의 출력이 미세하게 달라질 수 있다고 모델 카드가 밝히고 있습니다. 이 부분은 미확인으로 두고, 발표 수치만으로 성능을 단정하면 안 됩니다.
실무 시사점
에이전트 코딩과 도구 사용에서 강점을 보이는 오픈소스 모델이라는 점이 가장 큰 의미입니다. 로컬에서 직접 실행하고 응용을 시험해 볼 수 있습니다. 다만 발표 수치를 그대로 받아들이기보다는, 독립 검증과 실제 작업에서의 재현을 확인한 뒤에 도입 판단을 내리는 것이 순서입니다. 실행 조건도 BF16 전체와 INT4 양자화를 구분해서 봐야 합니다. 69GB 가중치를 그대로 돌리는 환경과 16GB GPU에서 양자화로 돌리는 환경은 체감 성능이 다를 수 있기 때문입니다.