GPT-6 Astra, 얼마나 강해졌을까? 7개 벤치마크를 아주 쉽게 풀어봤습니다

GPT-6 Astra, 얼마나 강해졌을까? 7개 벤치마크를 아주 쉽게 풀어봤습니다

OpenAI가 공개한 GPT-6 Astra의 성능표를 보면 숫자가 꽤 인상적입니다. GPT-5.6 Sol뿐 아니라 Anthropic의 Claude Fable 5.1과 비교해도 여러 영역에서 높은 점수를 기록했습니다. 특히 과학 연구, 업무 자동화, 수학, 3D 설계, 새로운 문제를 스스로 파악하는 능력에서 큰 차이가 보입니다. OpenAI 역시 Astra를 과학·전문 업무·코딩·컴퓨터 사용·추상 추론 등에서 크게 발전한 모델로 소개하고 있습니다. (OpenAI)

그런데 Terminal-Bench, FrontierMath, ARC-AGI 같은 이름만 보면 도대체 뭘 테스트한 것인지 알기 어렵죠. 이번 글에서는 첨부된 이미지에 등장하는 7가지 테스트가 실제로 무엇을 평가하는지 최대한 쉽게 풀어보겠습니다.

먼저 결과부터 한눈에 보기

테스트	GPT-6 Astra	GPT-5.6 Sol	Claude Fable 5.1	쉽게 말하면
Terminal-Bench Science 0.1	64.6%	22.4%	52.6%	AI가 과학자처럼 연구할 수 있나?
AutomationBench	41.4%	18.1%	31.4%	회사 업무를 알아서 처리할 수 있나?
FrontierMath Tier 4 v2	97.6%	83.0%	87.8%	연구자 수준의 초고난도 수학을 풀 수 있나?
Terminal-Bench 4.0	57.9%	37.3%	55.8%	실제 컴퓨터 터미널에서 일을 끝낼 수 있나?
HealthBench Professional	63.4%	60.5%	58.1%	의료 전문가 업무를 얼마나 잘 도울 수 있나?
BenchCAD	95.9%	83.3%	84.3%	그림을 보고 정확한 3D CAD를 만들 수 있나?
ARC-AGI-3	99.9%	7.8%	—	처음 보는 게임의 규칙을 스스로 알아낼 수 있나?

중요한 점이 하나 있습니다. 위의 숫자는 모두 %처럼 보이지만 각 테스트의 채점 방식이 서로 다릅니다. 따라서 64.6%와 63.4%를 놓고 어느 분야가 더 어렵다고 단순 비교하면 안 됩니다.

---

1. Terminal-Bench Science 0.1

"AI에게 연구실 컴퓨터를 맡기면 실제 연구를 할 수 있을까?"

GPT-6 Astra는 64.6%, GPT-5.6 Sol은 22.4%, Claude Fable 5.1은 52.6%를 기록했습니다.

이 테스트는 단순히 과학 문제의 답을 맞히는 시험이 아닙니다. AI에게 코드와 터미널 같은 도구를 주고 데이터 분석, 시뮬레이션 실행, 모델 피팅 등 과학 연구 과정을 실제로 수행하게 합니다. Terminal-Bench Science 자체도 여러 과학 분야에서 연구 워크플로를 수행하는 AI 에이전트를 평가하기 위한 벤치마크로 설명됩니다. (TERMINAL-BENCH-SCIENCE)

예를 들어 이런 느낌입니다.

"이 실험 데이터를 분석해서 어떤 모델이 가장 잘 맞는지 알아내고 그래프를 만든 뒤 결과를 정리해줘."

기존 AI 시험이라면 계산 문제 하나만 풀면 됐지만, 이 테스트에서는 AI가 파일을 열고 → 코드를 작성하고 → 실행하고 → 오류가 나면 수정하고 → 결과를 해석하는 과정까지 해내야 합니다.

그래서 쉽게 말하면 'AI 과학 연구원 테스트'입니다.

Astra 64.6%와 Sol 22.4%의 차이는 무려 42.2%포인트입니다. 이번 이미지에서 가장 눈에 띄는 격차 중 하나입니다.

---

2. AutomationBench

"AI에게 회사 일을 맡겨도 될까?"

Astra는 41.4%, Sol은 18.1%, Fable 5.1은 31.4%입니다.

AutomationBench는 Zapier가 공개한 벤치마크로, AI가 실제 회사에서 벌어지는 여러 단계의 업무를 처음부터 끝까지 제대로 처리하는지 평가합니다. CRM, 이메일, 캘린더 등의 여러 시스템을 오가며 일을 해야 하고, 단순히 방법을 설명하는 것이 아니라 최종 데이터가 올바른 시스템에 제대로 기록됐는지를 확인합니다. (Zapier)

예를 들어 이런 업무입니다.

"신규 고객 정보를 CRM에서 찾아서 담당자에게 메일을 보내고, 다음 주 미팅을 캘린더에 등록한 뒤 진행 상태를 업데이트해."

사람에게는 흔한 회사 업무지만 AI에게는 상당히 어렵습니다. 어떤 앱을 사용해야 하는지 판단하고, 필요한 정보를 찾고, 순서를 지키며 여러 작업을 정확하게 수행해야 하기 때문입니다.

그래서 이 시험은 한마디로 'AI 신입사원 실무 테스트'라고 볼 수 있습니다.

41.4%라는 숫자가 낮아 보일 수도 있지만 이 분야에서는 완전히 끝까지 성공해야 점수를 얻기 때문에 상당히 까다로운 평가입니다.

---

3. FrontierMath Tier 4 (v2)

"세계적인 수학 연구자 수준의 문제도 풀 수 있을까?"

Astra의 결과는 무려 **97.6%**입니다. Sol은 83.0%, Fable 5.1은 87.8%입니다.

FrontierMath는 일반적인 수학 시험과 차원이 다릅니다. Epoch AI가 전문가들과 만든 새로운 고난도 수학 문제를 사용하며, Tier 4는 그중에서도 가장 어려운 연구 수준의 문제들입니다. Epoch AI 설명에 따르면 일반적인 문제조차 해당 분야 연구자가 여러 시간 고민해야 할 수 있고, 최상위 문제는 며칠이 필요한 경우도 있습니다. (Epoch AI)

쉽게 비교하면,

초등 수학 → 수능 수학 → 대학 수학 → 수학 올림피아드 →

FrontierMath Tier 4 = 실제 수학 연구자에게 주는 문제

정도로 생각하면 됩니다.

그런 시험에서 97.6%라는 것은 상당히 이례적인 결과입니다. OpenAI 역시 Astra가 FrontierMath Tier 4에서 사실상 포화 수준에 가까운 성능을 냈다고 설명합니다. (OpenAI)

즉, 단순 계산 능력이 아니라 복잡한 추론을 긴 시간 유지하는 능력이 크게 향상됐다는 의미로 볼 수 있습니다.

---

4. Terminal-Bench 4.0

"말로 코딩하는 게 아니라 진짜 컴퓨터를 다룰 수 있을까?"

Astra 57.9%, Sol 37.3%, Fable 5.1은 55.8%입니다.

Terminal-Bench는 AI에게 실제 터미널 환경을 주고 일을 시킵니다. 코드를 작성하고 디버깅하거나, 프로그램을 설치하거나, 서버와 시스템을 설정하고 데이터 작업을 수행하는 식입니다. 현재 4.0 버전은 실제 환경에서 수행하는 복잡한 작업들로 구성됩니다. (Hugging Face)

예를 들면,

"이 프로젝트가 실행되지 않는 원인을 찾아서 수정하고 테스트까지 통과시켜."

AI가 "이렇게 하면 됩니다"라고 설명하는 것으로 끝나지 않습니다.

직접 명령어를 입력하고 → 파일을 수정하고 → 프로그램을 실행하고 → 오류 메시지를 확인하고 → 다시 수정해서 실제로 성공 상태를 만들어야 합니다.

그래서 개발자 입장에서는 굉장히 중요한 벤치마크입니다.

다만 이 테스트는 모델 자체뿐 아니라 Codex나 Claude Code 같은 에이전트 실행 환경의 영향도 받습니다. 따라서 순수한 언어모델 IQ 시험이라기보다 'AI + 도구를 합친 실제 작업 능력'에 가깝습니다.

흥미로운 점은 이 분야에서는 Astra 57.9%와 Fable 5.1 55.8%로 차이가 2.1%포인트밖에 나지 않는다는 것입니다. 이미지 속 테스트 중 두 모델이 가장 치열하게 경쟁하는 영역입니다.

---

5. HealthBench Professional

"의사나 의료 전문가의 일을 AI가 얼마나 잘 도울 수 있을까?"

Astra는 63.4%, Sol 60.5%, Fable 5.1은 58.1%입니다.

HealthBench Professional은 일반적인 건강 상식 퀴즈가 아닙니다. 실제 의료 전문가가 수행하는 진료 관련 상담 지원, 문서 작성, 의료 연구 등의 업무를 평가합니다. (GitHub)

예를 들어 단순히

"감기에 좋은 것은?"

같은 질문이 아니라 환자 상황과 자료를 보고 필요한 내용을 정리하거나, 의료 전문가가 활용할 수 있는 답변을 만드는 식입니다.

여기에 이미지에서 중요한 표현 하나가 있습니다.

length-adjusted

즉, 답을 무조건 길게 작성해서 점수를 높이는 것을 막기 위해 답변 길이를 보정한 점수입니다. OpenAI는 긴 답변이 더 많은 평가 항목을 우연히 만족시킬 수 있기 때문에 길이 조정을 적용한다고 설명합니다. (OpenAI Deployment Safety Hub)

따라서 63.4%를 "진단 정확도가 63.4%"라고 이해하면 안 됩니다. 의료 전문가 업무에 대한 여러 평가 기준을 종합하고 답변 길이까지 보정한 벤치마크 점수입니다.

이 영역에서는 Astra와 Sol의 차이가 2.9%포인트로 상대적으로 작습니다.

---

6. BenchCAD

"사진을 보고 똑같은 3D 부품을 만들 수 있을까?"

Astra 95.9%, Sol 83.3%, Fable 5.1은 84.3%입니다.

개인적으로 이번 표에서 굉장히 흥미로운 테스트입니다.

BenchCAD에서는 AI에게 기계 부품을 여러 각도에서 보여준 뒤 그 물체를 다시 만들 수 있는 CAD 코드를 작성하게 합니다. 즉 AI가 2D 이미지를 보고 머릿속에서 3차원 구조를 이해해야 합니다. (BenchCAD)

예를 들어 앞·옆·위에서 찍은 부품 그림을 보여주고,

"이 부품을 정확하게 3D 모델로 만들어."

라고 하는 것입니다.

AI는 구멍의 위치, 높이, 폭, 대칭 구조 등을 파악해야 합니다.

BenchCAD는 단순히 "비슷하게 생겼나?"만 보는 것이 아니라 실제 생성된 형상을 기준으로 평가합니다. 이미지의 95.9%는 OpenAI 설명상 geometric-overlap, 즉 만들어진 3D 형상이 정답 형상과 얼마나 겹치는지를 나타내는 점수입니다. (OpenAI)

따라서 Astra가 단순히 글과 코드를 잘 쓰는 것을 넘어 공간 지각 → 추론 → 코드 → 3D 결과물 제작을 연결하는 능력까지 상당히 발전했다는 점을 보여줍니다.

---

7. ARC-AGI-3

"아무 설명도 없는 처음 보는 게임을 스스로 이해할 수 있을까?"

이번 이미지에서 가장 충격적인 숫자입니다.

GPT-6 Astra 99.9%
GPT-5.6 Sol 7.8%

ARC-AGI-3는 일반적인 지식 시험과 완전히 다릅니다.

AI를 처음 보는 게임 같은 환경에 집어넣고 규칙이나 목표를 자세히 알려주지 않습니다. AI가 직접 움직여 보면서 결과를 관찰하고, 규칙을 추론하고, 목표를 찾고, 전략을 만들어 해결해야 합니다. ARC Prize는 이를 탐색, 환경 모델링, 목표 설정, 계획과 실행 능력을 평가하는 인터랙티브 추론 벤치마크라고 설명합니다. (ARC Prize)

쉽게 말하면 이런 상황입니다.

처음 보는 게임을 하나 켰는데 설명서가 없습니다.

사람은 몇 번 눌러보다가,

"아, 이걸 움직이면 저게 열리는구나."

"저기까지 가는 게 목표인가 보다."

하고 규칙을 알아냅니다.

ARC-AGI-3는 바로 이런 '처음 보는 상황에 적응하는 능력'을 AI에게 시험합니다.

그리고 이 점수는 단순한 문제 정답률이라기보다는 사람과 비교해 얼마나 효율적으로 행동하면서 환경을 이해하고 해결했는지를 반영하는 지표입니다. OpenAI는 Astra가 ARC-AGI-3에서 99.9%를 기록했으며, 평가 레벨의 96%에서 인간 행동 효율 기준을 넘어섰다고 설명합니다. (OpenAI)

Sol의 7.8%에서 Astra의 99.9%로 올라갔다는 점은 이번 결과에서 가장 큰 변화입니다.

---

이 표가 보여주는 진짜 변화는 무엇일까?

처음에는 단순히 "GPT-6 Astra가 GPT-5.6보다 점수가 높네" 정도로 보일 수 있습니다.

하지만 7가지 테스트를 하나씩 살펴보면 공통점이 있습니다.

예전의 AI 벤치마크는 대체로 질문 → 생각 → 답변 구조였습니다.

이번에 등장하는 벤치마크들은 점점 상황 파악 → 도구 사용 → 실행 → 결과 확인 → 실패하면 수정 → 최종 목표 달성을 요구합니다.

즉, AI 평가의 중심이

"AI가 얼마나 많이 알고 있는가?"

에서

"AI에게 일을 맡겼을 때 실제로 끝낼 수 있는가?"

로 이동하고 있는 것입니다.

Terminal-Bench Science에서는 연구를 해야 하고, AutomationBench에서는 회사 업무를 처리해야 하며, Terminal-Bench에서는 실제 컴퓨터를 조작해야 합니다. BenchCAD에서는 눈으로 본 물체를 3D 모델로 만들어야 하고, ARC-AGI-3에서는 처음 보는 환경에서 스스로 규칙까지 찾아야 합니다.

이 관점에서 보면 GPT-6 Astra의 가장 큰 변화는 단순히 더 똑똑한 챗봇이 됐다는 것보다 더 강력한 에이전트로 발전했다는 것에 가깝습니다.

다만 벤치마크 숫자는 이렇게 봐야 합니다

이 이미지는 OpenAI가 공개한 비교 자료입니다. 따라서 모든 숫자를 절대적인 모델 순위라고 보기보다는 동일하거나 유사한 평가 조건에서 특정 능력을 비교한 결과로 보는 것이 좋습니다. 특히 Terminal-Bench처럼 모델과 에이전트 도구를 함께 평가하는 테스트도 있고, HealthBench처럼 별도의 보정 방식이 적용되는 평가도 있습니다. BenchCAD의 경우 OpenAI도 Claude 측 결과가 일부 평가 수정 사항을 반영하고 있다는 주석을 달고 있습니다. (OpenAI)

그럼에도 이번 표가 보여주는 방향은 꽤 명확합니다.

GPT-6 Astra는 '답변을 잘하는 AI'보다 '복잡한 일을 스스로 해결하는 AI' 쪽으로 크게 이동했습니다.

특히 과학 연구 64.6%, 연구 수준 수학 97.6%, 3D CAD 95.9%, ARC-AGI-3 99.9%라는 결과는 앞으로 AI 경쟁이 단순한 채팅 품질이 아니라 자율적인 문제 해결 능력과 실제 업무 수행 능력을 중심으로 펼쳐질 가능성을 보여주는 대목입니다. (OpenAI)

한 줄로 정리하면,

GPT-5 시대가 '무엇을 물어볼까?'였다면, GPT-6 시대는 '무엇을 맡길까?'로 넘어가고 있는 것 같습니다.