생성형 AI 대화 오류 실시간 탐지…이엽 이사 "사용자 기준 직접 반영하는 구조 설계"

(지디넷코리아=조이환 기자)"생성형 인공지능(AI)는 아직 사용자의 의도를 정확히 파악하지 못하거나 대화 흐름을 놓치는 경우가 많습니다. 우리는 AI 분석 플랫폼 '얼라인'을 통해 이같은 문제를 정밀하게 진단하고 실시간 데이터 기반으로 개선 우선순위를 제시해 초개인화된 사용자 경험을 더욱 정교하게 만들어가고자 합니다."

이엽 콕스웨이브 제품총괄이사는 27일 서울 강남구 코엑스에서 열린 '엔비디아×리더스시스템즈 인셉션 밋업데이'에서 이같이 말했다. 이날 '얼라인'의 기술적 구조와 적용 사례를 발표한 이 이사는 '얼라인'이 단순 리스크 차단 도구를 넘어 실제 사용자 경험에 맞는 기준을 실무자가 직접 정의하고 개선할 수 있도록 설계된 분석 인프라라고 강조했다.

이 이사에 따르면 콕스웨이브는 지난 2021년 창업 초기부터 생성형 AI 기반 B2C 제품을 직접 운영하며 챗봇 사용자 행동 데이터를 다뤄온 경험을 갖고 있다. 이미지 생성 편집기 '하마'와 이미지 검색엔진 '엔터픽스'를 통해 130만 명 규모의 사용자를 확보한 뒤 두 제품을 찬돌그룹에 매각했다.

이엽 콕스웨이브 기사 (사진=조이환 기자)

이 회사는 이 당시 반복되는 오작동 사례와 기존 분석 도구의 한계를 체감한 이후 '얼라인'에 집중했다. 생성형 AI 특성상 사용자의 자유로운 입력에 따라 예측 불가능한 응답이 출력되는 구조적 한계가 있다는 점이 문제의 본질이라고 판단했기 때문이었다.

기존 분석 툴들은 클릭 수, 체류 시간 등 이벤트 기반의 정량 지표에 집중하면서 사용자 경험의 맥락을 파악하는 데는 한계가 있었다. 이로 인해 사용자가 실제로 어떤 부분에서 불만을 느꼈는지, 어떤 맥락에서 문제가 발생했는지를 정확히 짚어내기 어려웠다.

'얼라인'은 이같은 한계를 보완하기 위해 사용자와 AI 간의 상호작용 전체를 분석한다. 명시적인 피드백 없이도 대화 흐름 속에서 분노, 혼란 등 감정적 반응을 추론하고 이를 정량·정성 데이터로 변환해 불만족의 근거를 제시한다.

이 이사는 "우리는 단순 필터링을 넘어선 맥락 기반 분석 구조를 지향한다"며 "이를 통해 고도화된 문제 탐지가 가능해진 셈"이라고 설명했다.

더불어 에이전트 기반 분석 시스템은 대화와 감정 데이터를 종합적으로 분류해 운영자에게 의미 있는 개선 인사이트를 제공한다. 프로덕트 기획자는 세션 전체를 검토하지 않아도 주요 불만족 사례만 확인할 수 있게 됐다. 불필요한 이슈를 제외할 수 있어 분석 효율이 높다는 것이 이 이사의 설명이다.

이엽 콕스웨이브 이사 (사진=조이환 기자)

그는 "개선은 실시간으로 반영되기보다 피드백의 우선순위를 바탕으로 선별 적용된다"며 "이 편이 사용자 피로도를 줄이는 데에도 유리하다"고 말했다.

이 이사는 평가 기준 자체도 커스터마이징이 가능하다고 설명했다. 이는 같은 응답이라도 산업군, 브랜드 철학, 조직의 윤리 기준에 따라 '문제'인지 아닌지가 달라지는 현실을 반영한 것이다.

이에 기업은 내부 정책에 맞춰 금지·허용 기준을 정의하고 해당 기준을 실시간 분석 시스템에 내재화해 적용할 수 있다. 모호한 회색지대 응답에 대해서도 에이전트가 맥락과 데이터를 함께 보여주며 사용자가 직접 판단할 수 있도록 설계됐다.

이후 개선 조치의 효과는 대시보드를 통해 실시간으로 추적 가능하다. 운영자는 개선 활동 전후의 이슈 발생률을 비교하며 유사 사례 반복 여부를 확인할 수 있고 관련 지표를 통합적으로 관리할 수 있다.

이 이사는 "'얼라인'은 이런 피드백 루프 전체를 자동화한 분석 인프라"라며 "챗봇 운영자 입장에서도 시간과 비용을 실질적으로 줄일 수 있다"고 말했다.

기술적 기반은 엔비디아와의 협업을 통해 고도화됐다. 엔비디아의 '니모 큐레이터 프레임워크'와 사전학습 모델을 활용해 임베딩 모델의 성능을 고도화했기 때문이다. 이에 그래픽처리장치(GPU) 계산 시간은 85% 단축됐다. 운영 비용은 80% 감소했고 모델 응답 정확도는 12% 향상됐다. 이 사례는 엔비디아 같은 날 글로벌 블로그에도 소개돼 국내 스타트업의 생성형 AI 역량을 대외적으로 알리는 기회가 됐다.

지난 3월 서울 잠실 시그니엘에서 열린 '코리아 빌더서밋' 현장에서 이엽 콕스웨이브 이사(왼쪽)와 마이크 크리거 앤트로픽 CPO(오른쪽)가 연결형 AI의 미래에 대해 대담을 나누고 있다 (사진=앤트로픽)

파트너십 확장도 이어지고 있다. 콕스웨이브는 앤트로픽, 구글, 아마존웹서비스(AWS), 삼성, 메리츠, 콘플루언트 등 글로벌 기업들과 협업 중이다. 특히 앤트로픽과는 지난 3월 국내에서 '코리아 빌더서밋' 행사를 개최하며 한국 내 핵심 파트너로 자리잡았다.

회사는 현재는 인도 시장에도 집중하고 있다. 현지에서는 데이터 플랫폼 기업 레난과 중소기업 대상 사업을 전개 중이며 PwC 인도지사와는 대형 고객 공동 대응을 진행하고 있다. 또 구글 초기 지원 기업 '펀더멘토'에는 API 오케스트레이션을 제공해 금융 솔루션 자동화를 지원 중이다.

이엽 콕스웨이브 제품이사는 "AI가 어디서 오작동하고 있는지를 실무자가 자각하고 스스로 판단 기준을 내재화할 수 있도록 돕는 것이 '얼라인'의 핵심"이라며 "진정으로 안전한 AI란 단순 차단이 아니라 서비스와 사용자의 신뢰를 동시에 설계하는 체계"라고 밝혔다.

조이환 기자(ianyhcho@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.