【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]아스트라가 99.9점 받았다는 ‘인간 vs AI 판별 시험’

온카뱅크관리자

2026-09-19 10:27:25

<div id="layerTranslateNotice" style="display:none;"></div> [IT백과] 데이터 활용 방식에 따라 달라지는 점수…벤치마크 창시자 평가는 ‘62.7점’ 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="1GpK8gRfTu">
 <div contents-hash="04c8ce408baacffeec5fd818c2f45aae800837cce3676f32a45bdd965de74939" dmcf-pid="tHU96ae4hU" dmcf-ptype="general">
 정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리 'IT백과'를 참고하세요. &lt;편집자주&gt;
 </div>
 <figure class="figure_frm origin_fig" contents-hash="b1f2521ad308b67da7cca4eead16b53fae57485366d297d87a02653bbc2b9538" dmcf-pid="FXu2PNd8Wp" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/19/552796-pzfp7fF/20260919101954016biqg.png" data-org-width="640" dmcf-mid="5QH0qMV7l7" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/19/552796-pzfp7fF/20260919101954016biqg.png" width="658">
 </figure>
 [디지털데일리 오병훈기자] #인공지능(AI)에게 아무런 설명 없이 처음 보는 게임을 제시한다. 무엇을 해야 점수를 받고 승리할 수 있는지 알려주지도 않는다. AI는 버튼을 눌러보고, 실패하고, 화면 변화를 관찰하면서 스스로 규칙과 목표를 찾아야 한다.
 지난 3일(현지시간) 공개된 오픈AI 최신 모델 GPT-6 아스트라(Astra)가 이 같은 시험에서 99.9%라는 점수를 기록했다. 시험 이름은 ‘아크(ARC)-AGI-3'다. 오픈AI는 해당 점수 결과를 강조하면서 아스트라가 인간 지능에 버금가는 범용인공지능(AGI)에 한발 더 다가섰다고 대대적으로 홍보하고 나섰다.
 아크 AGI는 흔히 ‘AI용 IQ 테스트’처럼 소개되지만 엄밀히 말하면 조금 다르다. AI가 얼마나 많은 지식을 알고 있는지를 보는 테스트가 아니다. AI가 그동안 경험하지 못한 문제를 접했을 때 규칙을 얼마나 효율적으로 배워 해결하는지를 측정하려는 시험이다.
 아크 AGI의 시작은 구글 연구원 출신 AI 연구자 프랑수아 숄레가 처음으로 제안한 벤치마크다. 지난 2019년 논문 ‘지능의 측정에 관해(On the Measure of Intelligence)’에서 ‘추상 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)’를 처음 제시했다. 현재 ARC-AGI-1로 불리는 벤치마크의 원형이다.
 숄레의 구상이 현재 아크프라이즈재단으로 이어지는 체계가 만들어진 것은 지난 2024년부터다. 숄레는 기업가 마이크 눕(Mike Knoop)과 함께 ‘아크프라이즈(ARC Prize) 2024’ 대회를 출범시켰다. 이듬해인 2025년 이를 오픈소스 AGI 연구를 지원하는 비영리 아크프라이즈재단으로 확대했다.
 이 모든 흐름의 출발점에는 ‘무엇을 지능이라고 부를 것인가’라는 숄레의 문제의식이 있다. 그는 기존 AI 벤치마크가 특정 과제에서 얼마나 높은 숙련도를 보이는지에 치우쳐 있어, 새로운 문제를 배우고 일반화하는 능력을 제대로 측정하지 못한다고 봤다.
 아크 AGI는 시간 흐름에 따라 3단 진화를 거쳤다. 먼저 아크 AGI-1에서는 여러색으로 구성된 작은 격자의 입력과 출력 예시 몇 개를 보여준 뒤 새로운 입력의 정답을 맞히도록 한다.
 예컨대 앞선 예시들을 보고 같은 모양을 찾아 이동한다거나 특정 색으로 둘러싸인 영역만 남긴다와 같은 규칙을 스스로 추론해야 한다. 자연어 지식이나 역사 상식, 외운 공식으로 풀기 어렵다는 특징을 가지고 있다. 처음 보는 사례에서 추상적인 규칙을 뽑아내는 것이 핵심이다.
 그 결과 아크 AGI는 한동안 대형언어모델(LLM)에 상당히 어려운 시험이었다. 재단에 따르면 GPT-3가 등장한 2020년부터 GPT-4o가 나온 2024년까지 아크 AGI-1 점수는 0%에서 약 5%로 오르는 데 그쳤다.
 전환점은 2024년 말 오픈AI 추론 모델 ‘o3’ 프리뷰 버전이었다. 재단의 준공개(Semi-Private) 평가에서 제한된 연산 설정으로 75.7%, 대규모 연산을 사용한 설정에서는 87.5%까지 올라갔다.
 AI가 차츰 문제를 풀기 시작하자 시험도 진화했다. 2025년에는 아크 AGI-2가 등장했다. 외형은 여전히 색깔 격자를 이용한 퍼즐이지만 단순한 패턴 인식을 넘어 기호의 의미를 문맥에 따라 해석하거나 여러 규칙을 조합해야 풀 수 있는 문제가 강화됐다.
 아크 AGI의 원칙은 사람이 풀 수 있는 문제여야 한다는 것이다. 재단은 아크 AGI-2 개발 과정에서 400명을 대상으로 1400개가 넘는 문제를 시험했다. 각 문제는 적어도 두명 사람이 두 번 이하의 시도 안에 해결한 경우에만 포함됐다. 사람이 풀 수 있지만 AI에는 어려운 문제를 골라낸 셈이다.
 실제로 아크 AGI-2 공개 당시 주요 AI 모델의 점수는 다시 한 자릿수대로 떨어졌다. 재단은 당시 최고 수준 모델들도 5%를 넘지 못했다고 설명했다.
 올해 등장한 아크 AGI-3에서는 시험 방식 자체가 바뀌었다. 앞서 1과 2 버전이 주어진 입력과 출력에서 규칙을 찾아내는 정적인 문제였다면 아크 AGI-3는 AI가 환경과 직접 상호작용한다. 게임과 비슷한 추상적인 환경을 보여준 뒤 별도의 자연어 설명 없이 행동하게 한다.
 AI는 직접 움직여보면서 무엇이 바뀌는지 살펴보고, 환경의 작동 원리를 추론하고, 자신이 달성해야 할 목표가 무엇인지 찾아낸 뒤 행동 계획까지 세워야 한다.
 재단은 이를 ▲탐색(Exploration) ▲모델링(Modeling) ▲목표 설정(Goal-setting) ▲계획·실행(Planning and Execution) 능력을 평가하는 시험으로 설명한다. 약 500명이 참가한 별도 인간 평가 데이터도 구축했으며 각 환경은 사람이 해결할 수 있는지 확인하는 과정을 거쳤다.
 쉽게 말해 아크 AGI-1과 2가 처음 보는 문제의 규칙을 찾는 것이었다면 아크 AGI-3는 처음 보는 세상에 들어가 무엇을 해야 할지부터 알아내는 테스트에 가깝다. LLM에서 추론 모델, 다시 에이전트로 AI 기술의 관심사가 이동한 흐름이 벤치마크에도 그대로 반영되고 있는 셈이다.
 물론 아크 AGI 평가 한계를 지적하는 시선도 적지 않다. 재단이 실시한 독립 검증에 따르면 아스트라는 재단 표준 방식(모델이 스스로 남길 메모를 고르는 방식)에서는 62.7%를 기록했다. 추론 상태를 요청 사이에 보존·압축해주는 ‘프로바이더 어댑터’ 방식에서는 99.9%를 기록했다.
 평가 방법에 따라 점수가 바뀔 수도 있다는 의미다. 초기에 회자된 98.6%는 후자 방식의 최대 추론 설정 점수(98.55%)다. 오픈AI 공식 발표 페이지는 설정별 최고치를 골라 99.9%를 내세웠다.
 같은 모델이라도 주변 인프라 구성에 따라 37%포인트가 출렁인 셈이다. 만점급 점수조차 결국 준비된 에이전트 시스템을 측정한 것이며 추론 방식이 바뀌면 AI의 역량도 달라진다는 지적도 나온다.
 아크 AGI를 만든 숄레 역시 아스트라 성능을 높게 평가했다. 그는 지난 3일 자신의 X에 아스트라를 두고 “상호작용형 추론 문제에서 모델 역량의 계단식 변화”라고 평가했다. 특히 게임마다 규칙을 즉석에서 기호화하고 자체적인 축약 표현까지 만들어내는 모습에 주목하며 아스트라를 모델 지능 측면에서 중요한 돌파구로 봤다.
 테스트 창시자인 숄레도 아크 AGI 고득점을 AGI 달성과 동일시하는 데에는 선을 그었다.
 숄레는 지난 9일 자신의 소셜미디어에 “아크 AGI-3를 푸는 것이 AGI의 증거는 아니며 이 테스트가 결승선으로 만들어진 것도 아니다”라며 “우리가 지금까지 이 시스템에 대해 아는 것은 벤치마크 점수뿐”이라고 말했다.
 새로운 시험도 준비 중이다. 숄레는 현재 새로운 버전 시험인 ‘아크 AGI-4’를 개발 중이며 2027년 1분기 공개할 계획이라고 밝혔다. AI가 인간에게 쉽고 자신에게 어려웠던 문제 하나를 정복할 때마다 다시 남아 있는 격차를 찾아 새로운 시험을 만드는 셈이다. 정리해보면 아크 AGI가 보여주는 것은 어느 한 시점의 ‘AGI 합격증’보다는 인간과 AI 사이 남아 있는 지능의 간극이 얼마나 빠르게 좁혀지고 있는지에 더 가깝다는 것이 업계 평가다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기