【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]“역대급 성능” 믿었는데…아스트라도 휘말린 ‘AI 성적표의 배신’

온카뱅크관리자

2026-09-21 05:07:24

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="YJfNX3GhSR">
 ■ 추천! 더중플 - ‘AI 성적표’ 벤치마크의 배신
 「 SWE-bench, Terminal-Bench, MMLU… 인공지능(AI)을 자주 활용하신다면 이런 이름 들어보셨을 겁니다. AI 모델의 알고리즘과 성능을 측정하는 대표적인 벤치마크들입니다. 오픈소스 플랫폼 허깅페이스엔 전 세계에서 매일 수십, 수백개의 AI 모델이 등록되고 있습니다. 갈수록 치열해지는 AI 개발 경쟁에서 누가 더 나은 모델인가를 가리는 시험인 벤치마크의 중요성도 커졌습니다. 무명의 모델도 압도적 성적을 내면, 막대한 글로벌 투자금을 끌어올 수 있는 네임드의 길로 들어설 수 있기 때문입니다. 
 그런데 AI 성능이 급격히 향상되면서 벤치마크 변별력에도 문제가 생겼습니다. 일부 벤치마크는 대부분 모델이 만점에 가까운 점수를 받고, 풀이과정이 아닌 답만 맞히면 되는 허점을 노린 이들도 나타났습니다. 시험 잘 보는 모델은 성능도 좋을까요? 벤치마크가 아니라면 수많은 AI를 어떻게 평가할 수 있을까요? 이번 리포트는 이런 질문에서 시작했습니다. 더 자세한 내용은 더중앙플러스(The Joongang Plus) 구독 후 보실 수 있습니다. 」
 <figure class="figure_frm origin_fig" contents-hash="82c6f286cb4b5af1bdb1add22338c2bdfb841a7e64433767a61aea6374de2112" dmcf-pid="ZPqJvHlwhP" dmcf-ptype="figure">
 <img alt="인공지능(AI) 모델의 성능을 측정하는 벤치마크의 신뢰성이 도마에 올랐다. 챗GPT 생성 이미지. 장윤서 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/21/joongang/20260921050224102dbok.jpg" data-org-width="1279" dmcf-mid="ypv4wCEoWd" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/21/joongang/20260921050224102dbok.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 인공지능(AI) 모델의 성능을 측정하는 벤치마크의 신뢰성이 도마에 올랐다. 챗GPT 생성 이미지. 장윤서 기자
 </figcaption>
 </figure>
 인공지능(AI) 성능의 척도로 여겨지는 벤치마크. 그런데 요즘 AI 업계에선 “신뢰를 잃었다”(오픈AI 공동창업자 안드레 카파시)는 문제제기가 나온다. ‘족집게 과외’를 통해 실력을 부풀릴 수 있어, 믿을 수 없다는 것. 
 지난 3일 공개되자마자 ‘미친 성능’을 뽐내, AI 종말론까지 촉발한 오픈AI의 차세대 모델 ‘GPT-6 아스트라’마저도 이 논란에서 무사하지 못했다. 오픈AI가 아스트라를 소개한 블로그 게시물을 수차례 수정하는 과정에서 아스트라의 성능을 나타낸 벤치마크 점수가 높아졌는데, 경쟁사 앤트로픽 모델의 점수는 낮아졌다. 오픈AI는 “수치가 시시각각 변하는 건 자연스러운 일”이라 해명했지만, 전문가들은 오픈AI가 아스트라의 홍보를 위해 점수를 부풀린 이른바 ‘벤치맥싱(Benchmaxxing)’ 가능성을 제기했다. 
 <figure class="figure_frm origin_fig" contents-hash="f279f15f00edf894551152bc287b814bff2815375f76f10d8b6553829121f6ef" dmcf-pid="tMKLW5TsT4" dmcf-ptype="figure">
 <img alt="류제명 과학기술정보통신부 제2차관이 지난달 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다. 뉴스1" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/21/joongang/20260921050225337dqxm.jpg" data-org-width="1280" dmcf-mid="WrI3dgRfye" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/21/joongang/20260921050225337dqxm.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 류제명 과학기술정보통신부 제2차관이 지난달 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다. 뉴스1
 </figcaption>
 </figure>
 벤치맥싱은 국내에서도 뜨거운 감자다. 지난달 18일 정부 독자 AI 파운데이션 모델 (독파모) 선발전 2차 단계평가에서 글로벌 벤치마크 아티피셜 애널리시스(AAII)에서 높은 점수를 받았던 모티프테크놀로지스(이하 모티프)의 모델이 탈락해서다. 벤치마크 점수를 높여주는 해외 기업(애프터쿼리)과 협업한 사실이 공개되면서 논란이 커졌지만, 모티프는 평가가 불공정했다며 이의를 제기했다. 
 애프터쿼리는 공식 홈페이지에서 특정 벤치마크 점수를 5배 이상 높인 사례를 소개하고 있다. 기업에 직접 AI 엔지니어를 파견하기도 한다. 수능 적중 문제집을 파는 학원처럼, 특정 벤치마크 점수를 높일 수 있는 문제집(데이터셋)을 팔고, 필요하면 선생님을 보내 학습까지 시켜준다는 것. 애프터쿼리의 제안을 받은 한 AI 개발사는 데이터셋 가격이 수백억 원을 호가한다고 전했다. 
 하지만 정작 모티프 모델의 사용성을 두고 엇갈린 의견이 나온다. 한 관계자는 “모티프 모델은 한국어 사용에 문제가 많았다. 말을 엉뚱하게 이해하거나 문제를 조금만 변형하면 못 맞히는 경우가 있었다”며 “하나의 언어에 정통하면 다른 언어도 쉽게 할 수 있는 게 일반적인데, 그게 안 됐다면 (특정 벤치마크에) 피팅(최적화)됐을 가능성이 있다”고 의문을 제기했다. 또 다른 관계자는 “어려운 문제는 잘 답하지만, 일상적인 질문에는 영어나 한문이 섞여 나오고 비문도 있었다”고 전했다. 이에 대해 임정환 모티프 대표는 “베타(시험) 버전 모델에서 나타났던 현상으로, 이후 완성된 평가 모델에선 문제가 없었다”며 “사용성 평가가 왜 낮았는지는 알 수 없다”고 반박했다. 
 (계속) 
 과연 시험 잘 보는 AI가 일도 잘할까? AI 스타트업들이 없는 살림에 족집게 과외까지 받아가며 벤치마크 점수 올리기에 매달리는 이유는. 세계적인 AI 모델을 벤치마크에서 제쳤다는데, 막상 쉬운 질문에 엉뚱한 답을 내는 건 왜 그런 걸까. 모티프 사태를 계기로 벤치마크를 둘러싼 논란과 문제점을 집중 해부했다. 자세한 내용은 아래 링크에서 확인할 수 있다. 
 “역대급 성능” 믿었는데…아스트라도 휘말린 ‘AI 성적표의 배신’ https://www.joongang.co.kr/article/25461688 
 ■ 더중앙플러스 : 팩플
 「 더 자세한 기사 내용이 궁금하시다면 주소창에 링크를 붙여넣으세요. 
 “130번 실패한 작업도 2분컷” 토스 직원의 아스트라 명령어 오픈AI가 이달 초 새 프런티어 모델 ‘아스트라’를 공개한 뒤 소셜미디어에는 활용 후기가 쏟아지고 있다. 이런 아스트라의 능력을 내일 제출할 보고서와 기획안에도 적용할 수 있을까. 팩플은 그 답을 찾으러 오픈AI코리아를 찾았다. AI의 실제 업무 적용을 돕는 심대열 어플라이드 AI엔지니어를 만나 사용법을 캐물었다. 심 엔지니어가 준비한 시연에선 예상과 달리 복잡한 코드 대신 편안한 대화가 이어졌다. 하지만 익숙한 대화 속에 그만의 ‘팁’이 더해지자 아스트라는 진면목을 드러냈다. 아스트라로 서울 3D 지도를 만들어 전 세계에 화제가 된 서진호 AI경영학회 이사와 실제 업무에 아스트라를 활용 중인 토스 유금상 테크 리드에게도 노하우를 들었다. 이들의 조언은 한결같았다. “설마 이것도 되겠어?”라는 생각을 접고 상상력을 키우라는 것. 팩플이 아스트라 사용 꿀팁을 총정리했다. https://www.joongang.co.kr/article/25462714 
 “S&amp;P500 이겨줘” 말만 했다…31% 수익 낸 클로드 투자법 앤트로픽의 클로드에 “S&amp;P500 이겨줘” 이렇게 입력하고 주식 거래를 맡겼더니, 정말 계좌 수익률이 지수 상승률을 웃도는 일이 벌어졌다. 미국 플로리다대 알레한드로 로페즈-리라 금융학 조교수가 고안한 ‘클로드 포트폴리오’ 얘기다. 급등락을 반복하는 주식시장에서 포모(FOMO, 소외 공포)에 빠져 감정적 투자에 나섰다가 후회한 적이 있는가. 클로드 사례처럼 AI가 기업 데이터, 뉴스, 증권사 보고서를 이성적으로 분석해 투자 후보 종목을 추려내고, 자동 주문까지 해주는 시스템을 직접 구축할 수 있다면. 흔히 하는 적립식 자동 투자만으론 성과가 아쉽고, 생업에 바쁜 나머지 직접 매매 프로그램을 짤 엄두는 나지 않았던 개미투자자도 도전해볼 만한 환경이 갖춰졌다. 챗GPT·클로드 같은 범용 AI 서비스를 통해 나만의 투자 전략을 세우고, 거래까지 하는 실전 투자법을 한국투자증권·토스증권, 업비트 직원들로부터 직접 들어봤다. https://www.joongang.co.kr/article/25459768 」
 </section> 
 </div> 
 Copyright © 중앙일보. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기