【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]의사 시험 만점 AI, 일반인 환자 질문엔 '오답' 투성이

온카뱅크관리자

2026-02-15 08:07:31

<div id="layerTranslateNotice" style="display:none;"></div> 옥스퍼드대 무작위 대조 시험 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="7PEcVYrNLb">
 <figure class="figure_frm origin_fig" contents-hash="05d671783f8fdf105be42f8752467223d454669b252e398d67f11056759c0699" dmcf-pid="zQDkfGmjdB" dmcf-ptype="figure">
 <img alt="일부 AI 챗봇은 의사 면허 시험을 통과할 만큼 의학 지식이 풍부하지만 실제 환자와 대화하면 정확도가 크게 떨어지는 것으로 나타났다. 게티이미지뱅크 제공." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/15/dongascience/20260215080127265uffs.jpg" data-org-width="680" dmcf-mid="uTkA2WwaeK" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/15/dongascience/20260215080127265uffs.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 일부 AI 챗봇은 의사 면허 시험을 통과할 만큼 의학 지식이 풍부하지만 실제 환자와 대화하면 정확도가 크게 떨어지는 것으로 나타났다. 게티이미지뱅크 제공.
 </figcaption>
 </figure>
 AI 챗봇이 의료 면허 시험에서 거의 만점을 받을 정도로 의학 지식이 뛰어나지만 환자가 증상을 물으면 인터넷 검색보다 나은 도움을 주지 못한다는 연구 결과가 나왔다.
 앤드루 빈 영국 옥스퍼드대 옥스퍼드인터넷연구소 연구원 연구팀은 AI 대형언어모델(LLM)이 일반인의 의료 판단을 얼마나 돕는지 검증한 무작위 대조 시험 결과를 국제학술지 '네이처 메디신'에 지난 9일(현지시간) 발표했다.
 미국 성인 6명 가운데 1명이 한 달에 한 번 이상 AI 챗봇에 건강 관련 질문을 하는 것으로 조사될 만큼 AI를 '디지털 의사'로 활용하려는 시도가 늘고 있다. 지난 2023년 미국 앤서블헬스 연구팀이 오픈AI의 '챗GPT'가 미국 의사 면허 시험(USMLE) 합격 기준을 넘길 수 있다는 연구를 발표한 이후 LLM의 의료 활용에 대한 기대가 커졌다.
 연구팀은 영국 성인 1298명을 모집해 의사가 설계한 10가지 의료 시나리오를 제시했다. 시나리오는 '밤에 갑자기 극심한 두통이 생긴 20대 남성', '출산 후 극도로 지쳐 쓰러질 뻔한 여성' 등 일상에서 겪을 수 있는 상황이다.
 참가자는 증상의 원인이 될 수 있는 질환을 파악하고 '자가 치료'부터 '구급차 호출'까지 5단계 중 적절한 대응을 선택해야 했다. 연구팀은 참가자를 오픈AI의 'GPT-4o', 메타의 '라마3', 코히어의 '커맨드R+' 등 세 가지 LLM을 사용하는 그룹과 인터넷 검색 등 기존 방법을 사용하는 그룹으로 무작위 배정했다.
 의사가 설계한 시나리오를 텍스트로 직접 입력하면 LLM은 94.9%의 확률로 관련 질환을 정확히 식별했다. 그러나 일반인이 자신이 이해한 증상을 직접 설명하며 대화하자 정확도가 34.5% 이하로 떨어졌다. 환자는 의사에 비해 어떤 정보가 중요한지 몰라 핵심 증상을 빠뜨렸고 LLM도 이를 능동적으로 물어보지 못한 것이 주요 원인이었다.
 LLM이 적절한 대응을 고르는 정확도 역시 44.2% 이하에 그쳤다. 두 항목 모두 인터넷 검색 등을 활용한 대조군과 차이가 없거나 오히려 뒤처졌다. 인터넷 검색을 한 그룹은 LLM 사용 그룹보다 관련 질환을 맞힐 확률이 1.76배 높았다.
 연구팀이 참가자와 LLM의 대화 기록을 분석한 결과 참가자는 어떤 정보를 제공해야 하는지 몰라 불완전한 증상만 전달했고 LLM은 비슷한 질문에도 전혀 다른 답변을 내놓았다. LLM이 정확한 정보와 부정확한 정보를 섞어 제시해 참가자가 올바른 조언을 구별하지 못하는 문제도 나타났다. 극단적인 사례로 거의 같은 증상을 서술한 두 참가자에게 한쪽에는 '어두운 방에서 쉬라', 다른 쪽에는 '즉시 응급실에 가라'는 정반대 조언이 나오기도 했다.
 연구팀은 의사 면허 시험 문제풀이에서 80% 이상 정답률을 기록한 모델도 실제 참가자와 대화하면 정확도가 20% 이하로 떨어지는 경우가 있다는 점을 확인했다. 시험 성적으로 측정한 의학 지식의 양이 곧 진료 능력을 의미하지는 않는다는 뜻이다. AI가 교과서적 지식을 아무리 많이 갖추더라도 자신의 증상을 주관적으로 설명할 수밖에 없는 환자를 상대하는 능력은 별개라는 한계가 드러난 셈이다.
 연구에 참여한 옥스퍼드대 1차진료보건학과 레베카 페인 박사는 "AI가 의사 역할을 대신하기엔 아직 준비가 되지 않았다"며 "환자가 LLM에 증상을 물으면 잘못된 진단을 받거나 긴급한 상황을 놓칠 수 있어 위험하다"고 말했다. 
 &lt;참고&gt;  doi.org/10.1038/s41591-025-04074-y  
 [임정우 기자 jjwl@donga.com]
 </section> 
 </div> 
 Copyright © 동아사이언스. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기