【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]노타, ‘키미 K3.1 Pro’ 최적화…“GPU 구매비용 최대 20% 절감”

온카뱅크관리자

2026-11-10 10:37:25

<div id="layerTranslateNotice" style="display:none;"></div>  
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="xqTIKmyOgR">
          <figure class="figure_frm origin_fig" contents-hash="2c0d4bd644bd9a60ff270ec1de668325b3d4c1aa5980caa85eed26f03e9d283b" dmcf-pid="yDQVmKx2NM" dmcf-ptype="figure">
           <p class="link_figure"><img alt="/노타 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/10/chosunbiz/20261110103530900pvgp.jpg" data-org-width="2400" dmcf-mid="QmvObrTsce" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/10/chosunbiz/20261110103530900pvgp.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            /노타 제공
           </figcaption>
          </figure>
          <p contents-hash="346c2b8a24f214b01395fe9c2b705048886b5f6d2c4ebd860b52dba278330667" dmcf-pid="Wwxfs9MVkx" dmcf-ptype="general">인공지능(AI) 추론 최적화 기업 노타가 매개변수 2조8000억개 규모의 문샷AI ‘키미 K3.1 Pro’를 최적화해 그래픽처리장치(GPU) 초기 구매비용을 최대 약 20% 낮췄다고 10일 밝혔다.</p>
          <p contents-hash="ce6c71dabf44f3d6ade3254199f4d162b9ce830b5e8cbed963c0a60b99aaea02" dmcf-pid="Y45WPv1yAQ" dmcf-ptype="general">키미 K3.1 Pro는 매개변수 2조8000억개를 갖춘 모델로, 전체 매개변수 기준 공개된 오픈웨이트 AI 모델 중 최대 규모다. 모델 규모가 클수록 구동에 필요한 메모리와 GPU 자원도 늘어나기 때문에 기업 입장에서는 인프라 구축과 운영에 상당한 비용이 발생한다.</p>
          <p contents-hash="a5c5a629d390e4111682181b01a315046484814535fa9efa32ec5a21fb4b83fc" dmcf-pid="G81YQTtWcP" dmcf-ptype="general">노타는 기존에 엔비디아의 최신 GPU인 ‘B300’ 8장이 필요했던 모델을 상대적으로 저렴한 ‘B200’ 8장에서도 구동할 수 있도록 최적화했다. 노타의 자체 견적에 따르면 B300 대신 B200을 사용하면 GPU 구매비용을 최대 약 20% 절감할 수 있다. 클라우드 환경에서도 동일한 모델 구동 조건을 기준으로 B200 GPU 임대료가 최대 약 22% 낮게 나타났다.</p>
          <p contents-hash="22f629babb627d2131e8ce995d164dade84fe58f5a9f722c0413e8d4273ffa60" dmcf-pid="H6tGxyFYg6" dmcf-ptype="general">노타는 모델 내부에서 특정 작업을 수행하는 전문가 모듈을 선별적으로 제거하는 ‘프루닝’ 기술을 적용했다. 덕분에 전문가 모듈을 최대 37% 줄여 메모리 사용량을 낮추면서도 주요 추론 성능을 유지했다. 고난도 과학 추론 능력을 평가하는 ‘GPQA Diamond’에서 원본 모델 점수의 99% 이상을 기록했다는 게 회사 측 설명이다.</p>
          <p contents-hash="4434b1f6792eb04d74ad2c5bad48ba1df8164768422e7b0daa16448df1ab8c53" dmcf-pid="XPFHMW3Gc8" dmcf-ptype="general">메모리 사용량을 줄이면서 한 번에 처리할 수 있는 정보량은 늘렸다. B200 GPU 8장 환경에서 전문가 모듈을 30% 줄인 모델은 최대 51만2000토큰, 37% 줄인 모델은 최대 100만토큰의 문맥을 처리할 수 있다.</p>
          <p contents-hash="bc3ade8493e906b12302de9de7a649662100b0e1dfed772bb8b3f1a51499c2de" dmcf-pid="ZQ3XRY0Hc4" dmcf-ptype="general">확보한 여유 메모리는 답변 생성을 돕는 작은 보조 모델인 드래프트 모델을 함께 실행하는 데 활용된다. 드래프트 모델이 다음에 나올 내용을 미리 제안하고 본 모델이 이를 한 번에 검증하는 ‘추측 디코딩’을 지원해 B200 GPU 8장 환경에서도 답변 생성 속도를 높일 수 있도록 했다.</p>
          <p contents-hash="b356f9a78aa19e21266b10e9f497e6885af0b86436289243eb8d4ac0284370c5" dmcf-pid="5x0ZeGpXAf" dmcf-ptype="general">앞서 노타는 기존 키미 K3 구동에 필요했던 B300 GPU 수량을 8장에서 최대 4장으로 줄인 바 있다. 당시에는 동일한 GPU의 사용 수량을 줄였다면, 이번에는 후속 모델을 구동하는 데 필요한 GPU 사양 자체를 낮췄다.</p>
          <p contents-hash="6dafe1a91cde37b8a5e93c2eb04f3eb4505401071fec845c0b54618114fbd860" dmcf-pid="1Mp5dHUZaV" dmcf-ptype="general">채명수 노타 대표는 “노타는 모델 경량화부터 추론 실행과 서빙 최적화까지 기술 적용 범위를 확대하고 있다”며 “기업들이 기존 AI 인프라를 더욱 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다”고 밝혔다.</p>
          <p contents-hash="96c8dcbc61429304d49ea86fa92ba9523847ccc6e026b71bdd8744ced23072c2" dmcf-pid="tRU1JXu5A2" dmcf-ptype="general">- Copyright ⓒ 조선비즈 &amp; Chosun.com -</p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p>

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기