생성형AI의 틀린 답 … 'AI 환각' 왜, 어떻게 발생하나

"인공지능(AI)으로 만든 가짜 자료를 변론에 활용하는 변호인은 법정모독죄로 기소될 수 있습니다."

영국 법원이 최근 AI를 소송에 활용하는 행태에 제동을 걸었다. 진실을 가리는 법원에서 이런 이례적인 경고를 내놓은 것은 그만큼 AI로 인한 환각 현상이 재판에 큰 영향을 줄 수 있다는 우려 때문이다.

최근 워싱턴포스트(WP)를 비롯한 주요 외신에 따르면 한 남성은 은행 2곳에 대해 자금조달 계약을 위반했다며 소송을 제기했다. 원고가 제출한 서류에는 판례 등 다른 법률 문건 40여 건이 인용돼 있었는데, 이 중 18건은 존재하지도 않는 사건이었다. 논란이 일자 원고는 AI 도구와 법률 검색엔진을 활용해 인용문을 만들었다고 인정했다. 변호인 또한 의뢰인이 조사한 정보를 검증하지 않으면서 이 문제가 더 큰 논란이 됐다.

영국만이 아니다. 2023년 미국 뉴욕 남부지방법원에선 원고 변호사들이 오픈AI의 챗GPT를 활용해 실제 존재하지 않는 항공사 관련 판례를 법원 제출서류에 포함한 것이 드러났다. 재판부는 이를 지적하며 사건을 기각하고 변호사들에게 벌금을 부과했다. 와이오밍주와 유타주에서도 변호사들이 AI로 만든 허위 판례를 인용했다가 징계를 받았다.

AI 환각 현상과 관련해 가장 유명한 일화는 흘러내리는 피자 치즈에 대한 대처법을 물어본 한 이용자에게 제미나이에 기반한 구글 'AI 오버뷰'가 "무독성 풀을 피자 소스에 섞어 치즈가 떨어지지 않게 하세요"라고 조언한 내용이다. 해당 내용은 구글의 한 경쟁사가 위트 있게 패러디해 자사 모델은 환각 현상이 없다는 것을 강조하기 위한 광고에 활용하기도 했다.

6월 기준 하루 평균 1억2000만명이 사용하는 챗GPT-4의 전체 환각률은 1.7%지만 법률 학술 인용 부분으로 범위를 좁혀보면 29%로 치솟는다. 업그레이드 버전인 GPT-4o의 경우 요약 인용 등이 아닌 일상 질문에서 오류 비율이 61%, 제미나이 어드밴스드의 경우 금융 분야 인용 생성 중 허위 비율이 77%에 달한다. 블룸버그는 제미나이가 "세계은행 보고서에 따르면"이라고 인용하며 답했지만, 해당 보고서가 실제하지 않는다는 것을 보도한 바 있다.

오늘날 생성형AI의 핵심 문제 중 하나인 AI 환각(hallucination)은 AI가 그럴듯한 거짓 정보를 마치 실제처럼 만들어내는 현상이다. 마치 사실처럼 보이지만 실제로는 존재하지 않거나 틀린 정보를 만들어내는 것이다. 위 사례처럼 존재하지 않는 판례를 만들어내거나, 위험한 조리법을 권하는 것이다.

문제는 이런 환각이 AI의 단순한 실수나 오류가 아닌 구조적인 문제에 있다는 데 있다. 사용자들은 AI가 지식이 많은 똑똑한 존재라고 생각하기 쉽지만, AI는 방대한 지식을 빠르게 검색해 알려주는 역할을 한다. 많은 것을 알고 있다기보다는 주어진 문맥에서 가장 그럴듯한 다음 단어를 확률적으로 예측하는 모델에 가깝다.

각종 생성형AI 모델들이 우리 일상에 깊이 들어오면서 환각 문제를 마주 하는 사용자들도 늘어나고 있다. 사용자들 역시 환각 현상을 알면서도 AI 모델을 많이 사용하는 것으로 나타났다.

KPMG와 멜버른대는 최근 전 세계 47개국 4만8340명을 대상으로 'AI에 대한 인식과 활용 실태'를 조사했다. 그 결과 응답자의 절반(54%)은 AI의 안전성과 사회적 영향을 우려한다고 답했다. 그 우려 속에서도 응답자의 72%는 AI를 유용한 기술 도구로 받아들이고 있었다. 선진국에선 AI에 대한 신뢰도와 수용도가 각각 39%, 65%로 신흥국의 57%, 84%보다 낮은 수준을 보였다.

생성형AI 모델들의 환각은 단순한 소프트웨어 결함이나 데이터 오류의 문제가 아니다. 환각은 생성형AI가 어떻게 만들어지고, 작동하는지에 대한 구조적 결과물에 가깝다. 'AI가 왜 거짓말을 할까'가 아니라 '왜 거짓말을 할 수밖에 없을까'를 이해해야 환각 문제를 풀 수 있다.

우선 우리가 생각한 것과 달리 AI는 사실을 모른다. 생성형AI 특히 오픈AI의 챗GPT나 구글 제미나이, 앤스로픽의 클로드 같은 대형언어모델(LLM)은 단어의 '의미'를 아는 것이 아니라 문맥 속에서 다음에 올 가능성이 높은 단어를 예측하는 모델이다.

예를 들어 "피카소는 스페인의"라는 미완성된 문장을 주면 AI는 높은 확률로 '스페인의' 다음에 올 단어로 '화가'를 떠올린다. 여기서 중요한 것은 사실관계가 아니다. AI가 학습한 데이터 중 피카소는 스페인의 화가라는 내용이 많았기 때문에 화가라는 가장 가능성이 높은 답을 골랐을 뿐이다. 학습한 단어에 경찰이 많았다면 경찰이라는 답을 내놓았을 것이다. 이 기능은 AI가 문장을 자연스럽게 이해하는 데 도움이 되지만 그 내용이 진실인지 검증하진 못한다. 그렇기 때문에 앞서 재판 사례들처럼 거짓된 이야기들이 불쑥 튀어나오는 것이다.

학습 데이터에 한계가 있다는 점도 환각 현상을 일으키는 주요 원인으로 꼽힌다. 대형언어모델은 온라인에서 자료를 긁어오는 웹 크롤링, 위키백과 등 유저들이 직접 만드는 오픈백과와 더불어 뉴스, 사회관계망서비스(SNS) 등 다양한 곳에서 데이터를 가져와 학습한다.

문제는 이 데이터에 정확한 정보도 있지만 거짓, 밈(meme), 풍자, 편향된 정보 등 의도적이든 의도적이지 않든 팩트와는 거리가 먼 정보들도 들어 있다는 것이다. 이 중에서도 특히 밈이나 풍자 콘텐츠는 자연스럽고 자주 사용되기 때문에 AI가 이를 '팩트'로 오인할 수 있다.

이와 관련해 일부 전문가들은 생성형AI 모델이 처음 세상에 등장했을 때만 하더라도 '정제된' 학습 데이터가 충분했지만 이제는 더 이상 새로운 데이터가 남아 있지 않다는 점에 주목한다. 기존에 알려진 데이터를 거의 다 학습한 상황에서 AI가 새롭게 학습한 데이터에는 다소 부정확한 내용들이 섞여 있다 보니 이를 학습한 AI들의 환각 현상이 점점 더 심해진다는 것이다.

이는 '지식 압도 현상' 상황에서 더 심각한 문제를 일으킬 수 있다. 많이 쓰인 정보라면 잘못된 정보라도 AI가 이를 인용해 답변하기에 결과적으로는 환각에 기반한 틀린 답을 내놓는다는 것이다.

또한 AI가 명확한 답을 내놓기를 원하는 사용자와, 자신감을 높이는 방식으로 응답하도록 최적화된 AI 모델과의 충돌을 원인으로 보는 시각도 있다. AI로선 잘 모르는 질문을 받더라도 일단 답은 하고 봐야 한다는 절차를 따르다 보니 환각을 일으키게 된다는 것이다.

최근 학계에선 LLM은 구조적으로 환각을 완전히 제거할 수 없다는 연구결과와 더불어 우세한 패턴이 사실적인 패턴보다 강하게 반영될 때 환각이 발생한다는 연구결과가 발표되기도 했다.

인공지능 환각(hallucination)

AI가 그럴듯한 거짓 정보를 마치 실제처럼 만들어내는 현상. 마치 사실처럼 보이지만 실제로는 존재하지 않거나 틀린 정보를 만들어내는 것이다.

[이영욱 기자]

Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지