"한국어 언어모델 성능 평가 지표서 매개변수 80억개 이하 모델 가운데 1위"
"해외 모델 파인튜닝 거친 방식과 달리 아키텍처(구조) 최적화, 자체 데이터로 학습해 설계·개발"

[아이뉴스24 정유림 기자] 카카오의 자체 개발 인공지능(AI) 모델 '카나나'가 높은 수준의 성능을 보이며 국산 AI 모델의 가능성을 입증했다. 

미국 인공지능(AI) 개발자 플랫폼 웨이트앤바이어스(W&B)가 운영하는 벤치마크 플랫폼 호랑이(Horang-i) 리더보드 화면. 카카오의 AI 모델 '카나나'는 매개변수 80억개 이하의 모델 가운데 0.691점을 기록하며 1위에 올랐다. [사진=카카오]

카카오는 오픈소스로 공개한 모델(카나나-1.5-8b-인스트럭트)이 한국어 언어 모델(LLM)의 성능을 평가하기 위해 설계된 벤치마크 플랫폼 '호랑이(Horang-i) 리더보드(순위표)'에서 매개변수(파라미터) 80억개 이하의 모델 가운데 1위를 기록했다고 24일 밝혔다.

호랑이 리더보드는 미국 AI 개발자 플랫폼 웨이트앤바이어스(W&B)가 LLM의 한국어 성능 평가 결과의 순위를 공개하기 위해 운영하고 있는 평가 리더보드다. 언어 모델의 한국어 능력을 비교하고 국내외 다양한 언어모델을 대상으로 한국어 범용 성능, 정렬성, 정보 탐색 능력 등을 종합 평가한다. 한국어 환경에서의 실질적 유용성을 중점 평가해 국내 이용자 환경에 특화된 AI 모델의 경쟁력을 가늠하는 중요 기준으로 자리 잡고 있다.

앞서 지난 2월말 카카오는 자체 개발 언어모델 '카나나' 라인업 가운데 80억개·21억개 크기의 모델을 오픈소스로 공개했다. 카카오의 AI 모델은 매개변수 80억개 이하의 모델 가운데 0.691점을 기록하며 국내 모델 가운데 가장 높은 순위에 올랐다.

매개변수 150억개 미만의 모델 중에서는 1위를 기록한 알리바바의 AI 모델 큐원(Qwen2.5-14B)과 0.04점 차이로 종합 순위 4위를 기록했다. 이는 모델의 아키텍처(구조), 데이터셋, 학습 프로세스 등을 모두 처음부터 구축하는 '프롬 스크래치' 방식을 통해 설계·개발된 국내 모델 중 가장 높은 순위에 해당한다고 회사 측은 강조했다.

카카오에 따르면 프롬 스크래치 방식은 해외 모델에 대해 단순 파인튜닝(사전에 훈련된 대규모 언어 모델을 특정 작업이나 도메인에 맞게 추가 학습시켜 성능 개선)을 거친 방식과 달리 모델의 아키텍처 최적화, 자체 데이터를 통해 학습된 국산 모델이라는 점에서 의미를 갖는다.

과학기술정보통신부가 독자적인 한국형 AI(K-AI) 모델을 개발해 전 국민이 사용할 수 있도록 한다는 목표로 지난 20일'독자 AI 파운데이션 모델' 개발 프로젝트 공모를 시작한 가운데, 카카오는 이번 성능 평가가 공모 평가에서 유의미한 결과로 이어질 것으로 기대하고 있다.

카카오 관계자는 "'카나나-1.5-8b-인스트럭트' 모델은 한국어와 영어 모두에서 강력한 성능을 보이는 범용 언어모델"이라며 "성능과 비용 효율의 균형을 고려해 설계된 중형 크기의 모델에 해당하며 다양한 AI 응용 서비스 구현에 효과적이고 번역, 추론, 지식·질의응답, 구문 해석 등의 벤치마크에서 전체 1위를 기록하며 다수의 글로벌 모델과 비교해도 뛰어난 경쟁력을 보유했다"고 강조했다.

/정유림 기자(2yclever@inews24.com)

Copyright © 아이뉴스24. 무단전재 및 재배포 금지.