【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스][신중론 이후②] “AI 완전통제, 사실상 불가능”…피해 최소화가 목적

온카뱅크관리자

2026-09-25 17:07:36

<div id="layerTranslateNotice" style="display:none;"></div> 블랙박스·정렬 문제 여전…“완전 통제보다 지속적인 대응 필요” 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="1piWIFgRCr">
 <div contents-hash="d66b3921a66e99ef592c0f99c60196f08a64f3c2fdb70280726487236b433e5b" dmcf-pid="tUnYC3aeTw" dmcf-ptype="general">
 인공지능(AI) 개발 속도를 늦춰야 한다는 ‘AI 신중론’이 다시 고개를 들고 있다. 앞선 논쟁에서는 글로벌 석학들이 실존위험을 경고하는데 그쳤다면 이번에는 업계 한복판에 있는 글로벌 AI 기업 수장이 속도조절론을 꺼내들었다. 이같은 흐름 속에서 한국 AI 산업계에 주어진 과제는 분명하다. AI 신중론을 어떻게 해석하고 대응해야 할까. 이에 &lt;디지털데일리&gt;가 AI 신중론을 둘러싼 논쟁을 분석하고, 그 이후 기술·산업·정책 전략을 전문가와 업계 관계자 입을 통해서 분석해봤다.&lt;편집자&gt;
 </div>
 <figure class="figure_frm origin_fig" contents-hash="71a334484a3e7224782f3db02aa472c90c22718a8ea8e36dc8e1275e6ab52ed6" dmcf-pid="FuLGh0NdhD" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/25/552796-pzfp7fF/20260925170015524msxa.png" data-org-width="640" dmcf-mid="5py4qdHlCm" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/25/552796-pzfp7fF/20260925170015524msxa.png" width="658">
 </figure>
 [디지털데일리 오병훈기자] ‘AI가 인간의 통제를 벗어날 수 있다’는 불안과 공포는 AI 기술 발전의 역사와 함께 끊임없이 제기돼 온 우려다. AI 개발 속도를 조절해야한다는 주장의 기저에도 항상 등장하는 우려다. 그렇다면 과연 AI 개발 속도를 조절한다고 해서 AI를 통제할 수 있을까.
 전문가들은 앞으로 시간이 지나도 AI의 작동 방식과 정렬(Alignment) 기술의 한계를 고려하면 완벽한 예측과 통제를 보장하기 어렵다고 보고 있다.
 현실적인 대응은 AI를 통제할 수 있는 시점을 기다리는 것이 아니라 불확실한 위험이 발생할 때 이를 발견하고 피해를 제한할 수 있는 기술적 장치를 계속 쌓아가는 쪽에 가깝다는 설명이다.
 ◆블랙박스에 정렬 문제까지…‘완전 통제’는 없다.
 생성형 AI를 둘러싼 대표적인 기술적 난제는 ‘블랙박스’다. 연구자들은 이미 오래 전부터 AI 행동 과정에 대한 이해하기 위해 노력했지만 번번이 실패했다.
 어떤 데이터와 학습방식으로 모델을 만들었는지는 알지만 수많은 매개변수 사이에서 특정 답변이나 행동이 어떤 내부 과정을 거쳐 만들어졌는지를 완전히 설명하기 어렵다는 것이다. 모델 규모와 능력이 커질수록 사전에 예상하지 못했던 행동이 나타날 가능성도 점차 높아졌다.
 블랙박스 문제가 곧 AI가 스스로 의식을 갖거나 인간을 거부한다는 뜻은 아니다. 핵심은 개발자가 시스템의 모든 행동을 사전에 예측해 통제한다고 장담하기 어렵다는 데 있다. AI의 내부 작동 원리를 분석하는 ‘해석가능성(Interpretability)’ 연구가 계속되는 이유다.
 실제 해석가능성 연구에서도 AI 내부 작동을 완전히 들여다보는 단계에는 이르지 못했다는 분석이 나온다. 막시밀리안 드라이어 등 연구진이 지난해 8월 발표한 논문 ‘대규모 AI 모델의 기계적 이해와 검증’은 AI 모델의 내부 작동 방식이 여전히 상당 부분 불투명하다고 지적했다.
 여기에 ‘정렬’ 문제도 겹친다. 정렬은 AI가 인간이 원하는 목표와 의도에 맞게 행동하도록 만드는 문제다. 사람이 목표를 명확하게 지시했다고 생각하더라도 AI가 이를 문자 그대로 최적화하면서 인간이 의도하지 않은 방법을 선택할 수 있다.
 더 복잡한 문제는 AI가 에이전트로 진화하면서 발생했다. 기존 챗봇은 질문에 답을 생성하는 것으로 역할이 끝났다면, 에이전트는 외부 프로그램을 호출하고 여러 단계를 계획해 실제 업무까지 수행한다. 잘못된 판단 하나가 텍스트 출력에 그치지 않고 외부 시스템의 행동으로 이어질 가능성이 커진 것이다.
 강동한 플리토 CTO는 “개발자 관점에서 보면 AI를 완전히 통제하는 것은 사실상 불가능에 가깝다고 본다. AI 통제 문제는 보안과 비슷하다. 보안 취약점이 사방에서 계속 발견되고 이를 하나씩 막아 나가듯 AI 역시 통제하기 어렵다는 것을 전제로 새로운 위험이 나타날 때마다 지속적으로 대응하고 보완해야 한다”고 말했다.
 ◆완전 통제 대신 피해 최소화…가드레일·레드티밍 겹겹이 쌓는다
 그렇다고 ‘AI를 통제할 수 없다’는 결론이 ‘안전기술이 무의미하다’는 뜻으로 이어지는 것은 아니다. AI 내부 모든 판단을 이해하고 미래 행동까지 예측하는 강한 의미의 통제는 어렵더라도 AI가 할 수 있는 행동의 범위를 제한하고 위험 행동을 탐지해 실제 피해로 이어질 가능성을 줄이는 것은 가능하다는 것이 전문가들 의견이다.
 대표적인 방법이 가드레일이다. AI가 다뤄서는 안 되는 입력과 출력을 제한하거나 특정 행동을 차단하는 방식이다. 외부 시스템을 직접 조작하는 AI 에이전트라면 접근 가능한 데이터와 도구, 실행 권한을 최소화할 수도 있다. 중요한 행동에는 사람의 승인을 요구하고, 일정 범위를 벗어난 작업은 중단하도록 설계하는 것도 가능하다.
 레드티밍은 실제 공격자처럼 AI를 시험하면서 개발 단계에서 예상하지 못했던 취약점을 찾는 방식이다. 여기에 샌드박스, 권한 제한, 입출력 필터링, 사용 기록 모니터링, 이상행동 탐지 등을 여러 층으로 겹치면 하나의 안전장치가 뚫리더라도 실제 피해로 이어질 ‘가능성’을 낮출 수 있다.
 물론 AI 작동 방식을 규명하지 못한 상황에서 마련된 기술인 만큼 한계도 있다. 가드레일이나 레드티밍 등 출시 전 안전조치만으로 모든 문제를 찾아낼 수는 없다는 것이다. 미국 국립표준기술연구소(NIST)는 지난 3월6일 발간한 ‘배포된 AI 시스템 모니터링의 과제’ 보고서(NIST AI 800-4)에서 사전평가가 AI 역량과 위험을 점검하는 데 유용하지만 대부분 통제된 시험환경에서 이뤄져 실제 환경의 변수를 모두 반영하기 어렵다고 분석했다.
 NIST는 해당 보고서에서 “배포 이후 모니터링은 실제 환경에서 AI 시스템이 예상대로 안정적으로 작동하는지 검증하고 예상하지 못한 결과를 추적하는 것이 중요하다”며 “AI 모니터링을 위한 모범사례와 검증된 방법론은 아직 초기 단계에 머물러 있다”고 설명했다.
 피해 최소화를 위한 기술 조치도 안전 표준 협약이나 글로벌 규범 등 기술 외적인 부분이 먼저 해결돼야 한다는 지적도 함께 나온다.
 김동환 포티투마루 대표는 “가드레일이나 여러 안전장치를 통해 우리가 AI를 기술적으로 통제하는 방법은 마련할 수 있다”면서도 “문제는 안전조치가 글로벌 시장에서 표준으로 자리잡고 모두가 따를 수 있을지는 미지수”라고 분석했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기