Microsoft Decision-1 등장 — LLM이 모든 결정을 내릴 필요는 없다

최근 AI 모델의 발전 방향을 살펴보면 흥미로운 변화가 나타나고 있는 것같다.

그동안 AI 업계는 더 큰 LLM, 더 높은 추론 성능, 더 복잡한 Agent를 개발하는 데 집중해 왔다. 하지만 최근에는 LLM이 수행하던 특정 작업을 별도의 모델로 분리하려는 접근도 등장하고 있다.

이전에 소개했던 TypeSafe AI의 Jev, SupersonicLabs의 Julia-1이 대표적인 사례다. 두 모델 모두 텍스트를 생성하는 것보다 주어진 선택지 중 적절한 결정을 내리는 데 초점을 맞추고 있다.

그리고 이번에는 Microsoft가 이러한 흐름에 합류했다.

2026년 10월 9일, Microsoft는 새로운 의사결정 특화 AI 모델인 Microsoft-Decision-1을 발표했다.

이번 글에서는 Microsoft Decision-1의 특징과 기술적 접근 방법을 살펴보고, 기존 Jev 및 Julia-1과 어떤 차이가 있는지 정리해보려 한다.

1. Microsoft Decision-1이란?

Microsoft Decision-1은 일반적인 텍스트 생성형 LLM이 아니라, 주어진 선택지를 평가하고 적절한 결정을 내리는 데 특화된 모델이다.

예를 들어 AI Agent가 다음과 같은 요청을 받았다고 가정해보자.

"지난주 매출 데이터를 조회하고 분석해줘."

일반적인 LLM은 요청을 분석한 후 어떤 도구를 호출할지 판단하고, 그 결과를 텍스트나 구조화된 형식으로 생성한다.

반면 Decision Model은 미리 정의된 선택지의 적합도를 평가하고, 어떤 도구나 모델을 선택해야 하는지 점수로 반환한다.

대표적인 활용 분야는 다음과 같다.

• Routing: 어떤 도구 또는 AI 모델을 호출할지 결정
• Classification: 입력 데이터를 특정 카테고리로 분류
• Ranking: 여러 후보의 우선순위를 결정
• Grading: 생성된 답변이나 작업 결과의 품질을 평가
• Agent Control: 다음 작업을 진행하거나 재시도할지 판단

핵심은 텍스트를 잘 생성하는 것이 아니라, 정해진 선택지 중 어떤 행동이 가장 적절한지 빠르고 정확하게 판단하는 것이다.

모델 기본 정보

항목	내용
개발사	Microsoft
발표일	2026년 10월 9일
기반 모델	Qwen3.5-9B
학습 방식	의사결정 특화 Post-training
주요 용도	Routing, Classification, Ranking, Grading
추론 방식	Single-pass Decision Scoring
제공 플랫폼	Microsoft Foundry, OpenRouter

여기서 흥미로운 점은 Decision-1이 9B 모델을 기반으로 한다는 것이다.

기존 Julia-1은 약 144M 파라미터의 소형 모델이지만, Microsoft Decision-1은 상대적으로 큰 언어 모델을 기반으로 한다.

따라서 Decision-1을 단순히 작은 모델이라고 이해하기보다는, 의사결정에 필요한 추론 비용과 시간을 최적화한 모델이라고 보는 것이 적절하다.

2. 기존 LLM과 무엇이 다른가?

일반적인 LLM은 Autoregressive 방식으로 동작한다.

이 방식은 이전까지 생성한 토큰을 기반으로 다음 토큰을 예측하며, 최종적으로 문장이나 코드 등의 결과를 생성한다.

예를 들어 다음과 같은 질문을 입력했다고 가정하자.

"이 요청을 처리하려면 SQL Tool, Search Tool, Code Tool 중 무엇을 사용해야 하는가?"

일반적인 LLM은 다음과 같이 결과를 생성할 수 있다.

{
  "selected_tool": "SQL Tool",
  "reason": "사용자가 데이터베이스 조회를 요청했기 때문"
}

물론 LLM도 구조화된 출력 기능을 이용하면 이러한 결과를 안정적으로 생성할 수 있다.

그러나 에이전트가 매번 긴 프롬프트를 처리하고 결과를 생성한다면, 의사결정 과정에서 불필요한 비용과 지연 시간이 발생할 수 있다.

Decision-1은 이 문제를 다르게 접근한다.

선택지에 대한 적합도를 계산하고, 이를 의사결정에 사용할 수 있는 구조화된 점수로 반환한다.

예를 들면 다음과 같다.

SQL Tool     : 0.92
Search Tool  : 0.05
Code Tool    : 0.03

위 점수는 동작 방식을 설명하기 위한 가상의 예시다.

이러한 결과를 이용하면 별도의 자연어 설명을 생성하지 않고도 다음 실행 경로를 선택할 수 있다.

즉, Generation과 Decision을 분리하는 접근이다.

• Generation: 새로운 텍스트, 코드, 계획 등을 생성
• Decision: 이미 정의된 선택지의 적합도를 평가하고 선택

AI Agent에서는 두 작업 모두 필요하지만, 반드시 동일한 모델이 수행해야 하는 것은 아니다.

3. Microsoft Decision-1의 기술적 특징

3.1 Single-pass Decision Scoring

Microsoft가 강조하는 핵심 기술 중 하나는 Single-pass Decision Scoring이다.

일반적인 생성형 LLM은 결과를 여러 토큰으로 순차 생성한다.

반면 Decision-1은 긴 답변을 생성하는 대신, 주어진 입력과 선택지를 평가하여 의사결정에 필요한 점수를 산출하도록 특화되어 있다.

이를 통해 반복적인 의사결정에서 발생하는 응답 시간을 줄이는 것을 목표로 한다.

다만 내부적인 Scoring Head 구조나 구체적인 Loss Function까지 모두 공개된 것은 아니다. 따라서 어떤 방식으로 선택지별 점수를 계산하는지에 대해서는 공개된 정보와 추정을 구분할 필요가 있다.

3.2 세 가지 Decision Type

Decision-1은 크게 세 가지 유형의 의사결정을 지원한다.

유형	설명	활용 예시
noul	Yes / No 판단	민감정보가 포함되어 있는가?
choice	여러 선택지 중 하나 선택	어떤 모델을 호출할 것인가?
score	순서가 있는 등급 평가	답변 품질이 어느 수준인가?

특히 noul, choice, score라는 인터페이스는 이전에 살펴본 Julia-1에서도 등장했던 방식이다.

이는 서로 다른 모델들이 의사결정 작업을 유사한 형태의 API로 제공하고 있다는 점에서 흥미롭다.

단순한 문장 생성 대신, 특정 작업 유형과 선택지를 전달하여 결과를 평가하는 구조다.

3.3 Confidence Calibration

Decision Model에서 중요한 것은 단순한 정답률만이 아니다.

모델이 반환한 확률을 얼마나 신뢰할 수 있는지도 중요하다.

예를 들어 모델이 어떤 판단에 대해 90%의 확률을 반환했다고 가정해보자. 유사한 조건에서 90%의 확률을 반환한 예측 100개 중 약 90개가 실제로 정답이라면, 해당 모델은 잘 보정된 확률을 제공한다고 볼 수 있다.

이를 Confidence Calibration이라고 한다.

정확도와 Calibration은 서로 다른 개념이다.

• Accuracy: 얼마나 자주 정답을 선택하는가?
• Calibration: 예측 확률이 실제 정답 가능성과 얼마나 일치하는가?

AI Agent에서는 이 차이가 중요하다. 예를 들어 특정 의사결정의 신뢰도가 충분히 높다면 자동으로 작업을 진행하고, 낮다면 더 강력한 LLM에 판단을 요청하도록 설계할 수 있다. 다만 이러한 신뢰도 기반 분기에는 실제 서비스 데이터에 맞춘 Calibration 검증이 필요하다.

4. 벤치마크 — 실제 성능은 어느 정도인가?

Microsoft는 약 15만 개의 질문으로 구성된 36개 벤치마크를 이용해 Decision-1의 성능을 평가했다고 발표했다.

평가에는 Routing, Ranking, Reasoning, Multilingual, Long Context, Safety, OOD(Out-of-Distribution) 등 다양한 작업이 포함되었다.

4.1 정확도 비교

Microsoft가 공개한 평균 정확도 결과는 다음과 같다.

모델	평균 정확도
Microsoft Decision-1	83.5%
Jev 1.13.0	82.3%

Decision-1이 Jev보다 약 1.2%p 높은 결과를 기록했다.

다만 이는 Microsoft가 구성한 평가 환경에서의 결과다. 이 수치만으로 모든 종류의 의사결정에서 Decision-1이 Jev보다 우수하다고 판단하기는 어렵다. 특히 실제 서비스에서는 특정 도메인의 분류 정확도뿐 아니라 지연 시간, 비용, 확률의 신뢰성도 함께 비교해야 한다.

4.2 추론 속도

Microsoft는 Decision-1의 P50 지연 시간이 GPT-6 Sol 대비 약 35배 짧고, H2O-Lightning-4B 대비 약 2.5배 빠르다고 발표했다.

이는 Decision-1이 단순한 정확도 향상뿐 아니라, 실제 서비스에서 발생하는 의사결정 지연 시간을 줄이는 데 초점을 맞추고 있음을 보여준다.

다만 서로 다른 모델의 API 제공 환경과 하드웨어 조건에 따라 결과가 달라질 수 있으므로, 모든 환경에서 동일한 속도 차이가 발생한다고 해석해서는 안 된다.

4.3 의사결정 일관성

또 하나 흥미로운 평가 항목은 입력 변화에 대한 일관성이다.

예를 들어 다음 두 문장은 의미가 거의 동일하다.

• "지난주 매출을 조회해줘."
• "최근 일주일 동안의 판매 데이터를 가져와줘."

정상적인 라우터라면 두 요청 모두 동일한 도구를 선택하는 것이 자연스럽다.

Microsoft는 입력 문장이나 선택지의 표현을 변경하는 테스트에서 평균 1.3%의 결정 변경률을 기록했다고 밝혔다. 이는 입력이 조금 달라져도 모델이 비교적 일관된 판단을 수행할 수 있음을 보여준다.

에이전트에서는 이러한 안정성이 중요하다. 사용자가 질문을 조금 다르게 표현했다고 호출하는 도구가 불필요하게 변경된다면 시스템의 예측 가능성이 낮아지기 때문이다.

5. Jev, Julia-1, Decision-1 비교

이전에 소개했던 Jev와 Julia-1을 함께 비교하면 최근 Decision Model들이 어떤 방향으로 발전하고 있는지 이해하기 쉽다.

항목	Jev	Julia-1	Decision-1
개발사	TypeSafe AI	SupersonicLabs	Microsoft
기반 구조	의사결정 특화 모델	mmBERT-small	Qwen3.5-9B
파라미터	세부 규모 비공개	약 144M	9B 기반
핵심 목적	범용 의사결정	소형 로컬 의사결정	고성능 의사결정
출력	선택지별 확률·점수	선택지별 확률·점수	선택지별 확률·점수
활용 환경	API 중심	로컬 실행 가능	Foundry, OpenRouter
특징	범용성	작은 모델 크기	성능과 서비스 통합

세 모델의 목적은 유사하지만 접근 방식에는 차이가 있다.

Jev — 범용 Decision Model

Jev는 다양한 분류, 라우팅, 평가 작업을 하나의 의사결정 인터페이스로 처리하는 데 초점을 둔다.

복잡한 자연어 결과를 생성하는 대신 선택지별 확률을 반환하며, AI Agent의 의사결정 단계를 단순화하는 방향으로 설계되었다.

Julia-1 — 소형 Encoder 기반 모델

Julia-1은 약 144M 파라미터의 Encoder 기반 모델이다.

일반적인 LLM과 달리 작은 모델 규모를 활용해 로컬 및 CPU 환경에서 의사결정을 수행할 수 있다는 점이 특징이다.

특히 제한된 하드웨어 환경에서 빠른 분류나 라우팅이 필요한 경우 흥미로운 선택지가 될 수 있다.

Microsoft Decision-1 — LLM 기반 Decision Model

Decision-1은 Qwen3.5-9B를 기반으로 추가 학습을 진행했다.

Julia-1과 비교하면 상대적으로 크지만, 언어 모델이 가진 이해 능력을 바탕으로 다양한 의사결정 작업을 처리하도록 설계되었다.

Microsoft Foundry와의 연계를 통해 기업 환경에서 활용하기 쉽다는 점도 특징이다.

결국 세 모델은 모두 의사결정을 특화된 모델에 맡긴다는 공통점을 가지지만, 모델 크기와 배포 방식, 정확도와 운영 비용 사이에서 서로 다른 선택을 하고 있다.

6. AI Agent에서는 어떻게 활용할 수 있을까?

Decision Model의 가장 실용적인 활용 분야는 AI Agent라고 생각한다.

최근 Agent는 단순히 사용자 질문에 답변하는 수준을 넘어 여러 도구와 외부 서비스를 조합하여 작업을 수행하는 방향으로 발전하고 있다.

이 과정에서는 반복적인 의사결정이 발생한다.

예를 들어 데이터 분석 Agent의 처리 과정을 살펴보자.

기존에는 이러한 의사결정 단계도 LLM이 수행하는 경우가 많았다.

하지만 Decision Model을 적용하면 작업에 따라 별도의 모델이 판단을 담당하도록 구성할 수 있다.

대표적인 활용 예시는 다음과 같다.

① Tool Routing

사용자 요청에 따라 SQL Tool, Search Tool, Code Tool 중 어떤 도구를 사용해야 하는지 선택한다.

② Model Routing

단순한 작업은 작은 모델에 전달하고, 복잡한 추론이 필요한 요청은 더 강력한 LLM으로 전달한다.

③ Result Evaluation

도구 실행 결과나 LLM의 답변이 특정 품질 기준을 만족하는지 평가한다.

④ Retry / Escalation Decision

작업을 재시도할지, 종료할지, 다른 모델에 넘길지 판단한다.

이러한 구조에서 Decision Model은 LLM을 대체하기보다는 LLM이 반드시 수행할 필요가 없는 반복적인 판단을 담당하는 역할을 한다.

Microsoft도 반복적인 의사결정 지연 시간이 누적되면 전체 Agent 실행 시간이 증가할 수 있다는 점을 강조하고 있다.

따라서 Agent가 복잡해질수록 추론 성능뿐 아니라 각 단계의 의사결정 비용을 최적화하는 것이 중요해질 수 있다.

7. 실제 Microsoft의 활용 사례

Microsoft는 Decision-1을 내부 서비스와 업무에 적용한 결과도 소개했다.

적용 분야	주요 결과
Xbox Research	사용자 피드백 분류에서 GPT-6 Sol 대비 14배 이상 빠른 처리, 비용 약 1/200
Copilot 평가	GPT-5.6 Luna와 경쟁력 있는 품질을 유지하며 약 100배 빠른 처리
장애 대응	관련 로그와 지식 검색 과정의 판단 속도 개선
Microsoft Discovery	평가 일관성 약 46배 향상, 적응형 재계획 약 4배 가속

이러한 결과는 실제 업무에서도 Decision Model을 활용할 수 있음을 보여준다.

특히 단순한 분류 작업뿐 아니라 기존 LLM을 이용하던 응답 평가나 실험 결과 검증에도 적용할 수 있다는 점이 흥미롭다.

다만 Microsoft 내부 테스트 결과이므로, 실제 서비스 환경에서도 동일한 성능 향상을 기대하기보다는 각자의 데이터와 작업을 이용해 별도로 검증할 필요가 있다.

8. 최근 Decision Model이 주목받는 이유

개인적으로 이번 발표에서 가장 주목할 점은 Microsoft Decision-1의 정확도보다 AI 모델의 역할이 점차 세분화되고 있다는 것이다.

기존에는 하나의 강력한 LLM이 질문 분석, 추론, 도구 선택, 결과 평가까지 모두 수행하는 구조가 일반적이었다.

그러나 Agent의 기능이 복잡해지면서 모든 단계에 동일한 LLM을 사용하는 것이 반드시 효율적인 것은 아니라는 문제가 나타나고 있다.

예를 들어 특정 요청에 어떤 도구를 연결해야 하는지 판단하는 작업은 수십 개의 후보 중 하나를 선택하는 문제로 정의할 수 있다.

이런 작업을 처리하기 위해 매번 긴 답변을 생성하는 것이 최적의 접근은 아닐 수 있다.

여기서 Decision Model이 하나의 대안이 된다.

8.1 큰 모델보다 목적에 맞는 모델

Julia-1처럼 작은 Encoder를 사용할 수도 있고, Decision-1처럼 기존 언어 모델을 특정 작업에 맞게 추가 학습할 수도 있다.

어떤 구조가 적절한지는 작업의 복잡도, 요구 정확도, 하드웨어, 지연 시간 등에 따라 달라진다.

중요한 것은 모델의 파라미터 수보다 실제 해결하려는 문제에 적합한 구조인지다.

8.2 Generation과 Decision의 분리

LLM이 새로운 내용을 생성하는 작업에 집중하고, Decision Model이 정해진 기준에 따른 판단을 담당하는 구조도 가능하다.

이렇게 역할을 분리하면 각 모델의 성능을 독립적으로 측정하고 개선하기 쉬워진다.

예를 들어 Tool Routing의 정확도가 낮다면 전체 LLM을 변경하는 대신 라우팅 모델만 개선하는 방식이다.

8.3 기존 기술의 새로운 활용

물론 이러한 접근이 완전히 새로운 것은 아니다.

과거에도 BERT 기반 분류기, Reranker, Reward Model, 학습 기반 Router 등이 유사한 작업을 수행해 왔다.

최근 등장한 Decision Model들의 차이점은 분류, 라우팅, 평가와 같은 여러 작업을 하나의 구조화된 인터페이스로 처리하려 한다는 것이다. 특히 선택지와 판단 기준을 입력하면 별도의 복잡한 모델 학습 없이 다양한 의사결정 작업에 활용할 수 있다는 점에서 범용성이 높아지고 있다.

9. Decision Model의 한계

Decision Model이 유용하다고 해서 모든 의사결정을 대체할 수 있는 것은 아니다.

우선 Decision Model은 기본적으로 주어진 선택지와 판단 기준에 의존한다. 새로운 계획을 수립하거나, 정의되지 않은 도구를 찾아내거나, 복잡한 문제를 여러 단계로 분해해야 하는 작업은 여전히 생성형 LLM이 적합할 수 있다.

또한 모델이 반환하는 높은 확률이 반드시 올바른 판단을 보장하지는 않는다.

학습 데이터와 실제 서비스 데이터의 분포가 다르거나, 입력에 예상하지 못한 상황이 포함된다면 잘못된 선택을 할 수 있다.

따라서 실제 시스템에 적용할 때는 다음과 같은 검증이 필요하다.

• 실제 데이터에서의 Routing Accuracy
• 선택지 변경에 따른 예측 안정성
• Confidence Calibration
• 의사결정 지연 시간 및 API 비용
• 알 수 없는 입력에 대한 보류 및 예외 처리

특히 에이전트가 외부 시스템에서 실제 작업을 수행하는 경우에는 높은 점수만으로 실행을 승인하기보다는 별도의 권한 검증과 안전장치를 구성해야 한다.

10. 마무리

최근 Jev, Julia-1에 이어 Microsoft Decision-1까지 등장하면서 Decision Model이라는 분야가 점차 주목받고 있다.

세 모델은 서로 다른 구조를 사용하지만 공통적인 문제를 해결하려 한다.

"모든 작업을 고성능 LLM이 처리해야 하는가?"

 

과거에는 LLM의 성능을 높이는 것이 AI Agent의 성능을 개선하는 주요 방법이었다면, 최근에는 Agent를 구성하는 각 단계를 별도로 최적화하려는 접근이 함께 발전하고 있다.

특히 복잡한 추론이 필요하지 않은 분류, 라우팅, 결과 평가 등의 작업은 목적에 특화된 모델을 활용하는 것이 더 효율적일 수 있다.

물론 Decision-1은 9B 모델을 기반으로 하므로 이를 단순한 소형 모델의 발전으로 해석하기는 어렵다.

오히려 이번 발표는 모델 자체의 크기보다 어떤 작업을 어떤 방식으로 수행할 것인가가 중요해지고 있다는 점을 보여준다고 생각한다.

앞으로 AI Agent가 더욱 다양한 도구와 모델을 활용하게 된다면, 복잡한 추론을 담당하는 LLM과 빠른 판단을 수행하는 Decision Model이 함께 사용되는 사례가 늘어날 것으로 보인다.

개인적으로는 Jev, Julia-1, Microsoft Decision-1을 동일한 데이터셋으로 비교해보고 싶다. 특히 일반 LLM 기반 Router까지 포함해 정확도, 응답 시간, 비용을 직접 비교해본다면 Decision Model의 실질적인 효용을 확인할 수 있을 것 같다.

참고 자료

1. Microsoft — Introducing Microsoft-Decision-1
   https://commandline.microsoft.com/microsoft-decision-1-model-foundry/
2. Microsoft Learn — Microsoft Decision-1 사용 가이드
   https://learn.microsoft.com/en-us/azure/foundry/foundry-models/how-to/use-foundry-models-microsoft-decision
3. Microsoft Foundry — Decision-1
   https://ai.azure.com/catalog/models/Microsoft-Decision-1
4. OpenRouter — Microsoft Decision-1
   https://openrouter.ai/microsoft/microsoft-decision-1
5. SupersonicLabs — Julia-1
   https://huggingface.co/SupersonicLabs/Julia-1
6. JevBench — Decision Model Benchmark
   https://github.com/fstandhartinger/jevbench