【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]예측 불가 AI, 제품화는 어떡하나 …“운영계층 대상 평가·관측·통제가 핵심”

온카뱅크관리자

2026-10-27 14:17:25

<div id="layerTranslateNotice" style="display:none;"></div> 모델·RAG 조합마다 결과 달라 사전 설계 한계…지속 평가·드리프트 감시 필수 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="xPqKDHoMW4">
 <figure class="figure_frm origin_fig" contents-hash="af05dedc06409d1ef4f364f063cdecec1b8a5dacac20d96f2db902145eb91322" dmcf-pid="yvDmqdtWCf" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/27/552796-pzfp7fF/20261027140940321aihg.jpg" data-org-width="640" dmcf-mid="Q28QlpDgh8" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/27/552796-pzfp7fF/20261027140940321aihg.jpg" width="658">
 </figure>
 [디지털데일리 오병훈기자] “대규모언어모델(LLM)의 특성 자체가 비결정론적입니다. 같은 질문에도 답변을 예측할 수 없다는 것이 가장 큰 특징입니다. AI가 개념검증(PoC)을 넘어 실제 제품화되기 위해서는 이 비결정론 특성이 반드시 고려돼야 합니다.”
 최효근 레드햇 이사는 27일 서울 삼성동 웨스틴 서울 파르나스에서 열린 ‘레드햇 서밋: 커넥트 2026 서울’에서 인공지능(AI) 난제 ‘비결정론성’을 강조하면서 이같이 말했다.
 전통적인 IT 시스템은 조건과 규칙을 정해두면 동일한 입력에 같은 결과를 내놓는다. 테스트 커버리지와 품질보증(QA)을 통해 출시 전 기능이 제대로 작동하는지도 비교적 명확하게 검증할 수 있다. 하지만 LLM은 동일하거나 유사한 질문에도 매번 다른 답변을 생성할 수 있다. 모델 자체뿐 아니라 검색증강생성(RAG) 청킹(긴 문서를 작은 단위로 나누는 작업) 크기, 검색 방식, 프롬프트, 에이전트 패턴 등에 따라 결과가 달라진다.
 기업 입장에서는 프로젝트 시작 단계에서 최적 조합을 한번 정해놓고 끝낼 수 없다. 실제 업무 질문을 지속적으로 입력해 결과를 평가하고, 운영 중 성능이 변하는 ‘드리프트’가 발생하지 않는지도 반복적으로 확인해야 한다는 것이 최 이사 설명이다.
 최 이사는 “모델 선택하는 작업을 이어가는 것만으로도 바쁜데 청킹 사이즈나 벡터·키워드 검색 비중, 임베딩과 리랭킹 모델, 에이전트 패턴까지 선택지가 계속 늘어난다”며 “모든 것을 미리 판단할 수 없기 때문에 평가 기반으로 어떤 구성이 실제 워크로드에 최적인지 계속 확인해야 한다”고 말했다.
 ◆모델 하나 바뀌어도 다시 검증…AI 운영 ‘숨은 비용’
 비결정론성은 실제 AI 인프라 운영에서도 새로운 비용을 만든다는 것이 최 이사 설명이다.
 기업이 새 오픈모델을 도입할 경우 모델 성능만 확인하면 끝나는 것이 아니다. 해당 모델을 실제 GPU에서 구동할 추론엔진이 지원하는지, 기존 환경과 호환되는지, 보안상 문제는 없는지 다시 검증해야 한다는 것이다.
 최 이사는 대표 사례로 오픈소스 추론엔진 ‘vLLM’을 들었다. 신규 모델이 새로운 연산 방식을 사용하면 추론엔진 역시 이를 지원하는 버전으로 업데이트해야 한다.
 과거 버전 vLLM에서는 최신 모델 자체가 실행되지 않을 수 있다. 최신 엔진을 도입해야 하지만, 기업은 곧바로 보안과 호환성, 보유 중인 그래픽처리장치(GPU) 가속기에서 제대로 동작하는지 검증해야 한다.
 이 때문에 운영 단계에서는 모델별 평가 데이터셋 관리도 중요해진다. 실제 기업들은 핵심 질문을 중요도에 따라 골드·실버·브론즈 등으로 나눈다. 모델을 바꿀 때마다 같은 질문을 반복해 품질이 유지되는지를 확인하는 식으로 대응한다.
 아직 끝난 것이 아니다. 입출력 토큰과 모델 가중치(파라미터), 응용프로그램인터페이스(API) 키와 접근권한, 로그 등 부가적인 환경까지 함께 관리해야 한다.
 실제 서비스 속도가 느려지는 상황도 단순하지 않다. 초당처리토큰(TPS)이 떨어졌다는 사실만 확인해서는 원인을 찾기 어렵다. GPU 사용률이 높더라도 어떤 사용자 요청이나 어떤 모델·애플리케이션이 자원을 점유했는지를 알아야 대응할 수 있기 때문이다.
 최 이사는 “GPU가 바쁘다는 사실만으로는 무엇이 GPU를 바쁘게 만들고 있는지 알 수 없다”며 “트레이스(사용자 요청이 거친 경로와 시간을 기록한 정보)까지 함께 저장해야 정확하게 원인을 파악할 수 있다”고 설명했다.
 ◆답변에서 ‘행동’으로…에이전트 시대 통제 난도 더 커져
 AI가 에이전트 단계로 넘어가면 비결정론성 위험은 한층 커졌다는 것이 최 이사 설명이다. 기존 생성형 AI는 질문에 답을 생성하면 사용자가 이를 보고 실제 행동 여부를 결정했다. 에이전틱 AI는 목표를 받은 뒤 스스로 계획을 세우고 필요한 도구를 선택한 뒤 실제 작업까지 수행한다.
 기업 입장에서는 모델의 답변 품질뿐 아니라 ‘어떤 도구에 접근할 수 있는지’, ‘어떤 파일과 시스템을 조작할 수 있는지’까지 통제해야 한다.
 최 이사는 “에이전틱 AI에서는 플래닝부터 도구 선택, 작업 결과 판단까지 AI가 수행한다”며 “모든 도구를 열어둘 수 없는 만큼 툴 관리와 실제 액션을 수행하는 체계까지 기업 통제권 안에 들어와야 한다”고 강조했다.
 예를 들어 약 200개 PDF 문서를 읽고 보고서를 작성하는 AI 에이전트가 인용 내용을 검증한 뒤 그래프까지 생성한다고 가정해보자. 이 과정에서 에이전트가 직접 파이썬 프로그램을 작성해 실행해야 한다면 단순한 챗봇과는 위험 수준이 달라진다.
 레드햇은 이 같은 작업을 별도 실험환경 안에서 실행하도록 구성했다. 사용자 요청 이후 작업 과정에서 외부 네트워크 접근을 차단하고 CPU·메모리 사용량을 제한한 환경에서만 AI가 생성한 코드를 실행하도록 했다.
 그는 “분리된 환경에서 에이전트 전체 작업을 이어갈 수 있고 특정 프로세스만 통제하는 방법도 있다”며 “두 방식 모두 필요하고 플랫폼 차원에서 이를 제공하는 것이 앞으로 AI 플랫폼의 기능 요건이 될 것”이라고 말했다.
 이같은 문제에 레드햇은 모델 추론부터 평가, 에이전트 행동까지 하나의 컨트롤 플레인에서 관리하는 것을 AI 제품화 전략 핵심으로 내세웠다.
 레드햇 오픈시프트 AI에서는 검증된 모델을 제공하는 모델 카탈로그와 최신 vLLM을 빠르게 적용하기 위한 패스트 빌드, 다양한 평가도구를 통합하는 이밸 허브(Eval Hub) 등을 제공한다.
 최 이사는 AI 프로젝트에서 비용과 안전성, 애플리케이션 품질, 프로덕션 전환 방법 등 여러 장벽이 동시에 발생하는 만큼 기존 인프라·개발·현업 조직의 협업 역시 중요하다고 강조했다.
 그는 “PoC 단계에서는 오픈소스 도구만으로도 상당 부분 빠르게 시험해볼 수 있다”며 “실제 프로덕션에서는 품질과 가드레일, 성능 등 새로운 문제가 발생하는 만큼 완성된 플랫폼을 기반으로 시간을 줄이고 애플리케이션 품질을 높이는 접근이 필요하다”고 말했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기