【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI가 통제 벗어나면 35초 내 차단…오픈AI, 연구용 '킬 스위치' 도입

온카뱅크관리자

2026-11-10 22:57:26

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">연구용 AI 작업 통합 관리하는 '컨트롤 룸' 구축<br>이상행동 감지 시 모델 출력 차단…작업 중단 강제<br>제어 시스템 고장 나도 추론 요청 자동 거부<br>챗GPT 등 일반 서비스 제외…연구 인프라에 적용</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="KO60hxgROv">
          <p contents-hash="53ad9720b2531a9fdf869a3ea842f5ba3db685ee04eae061b733b10b92029921" dmcf-pid="9IPplMaeOS" dmcf-ptype="general"> [이데일리 이소현 기자] 오픈AI가 인공지능(AI) 모델이 연구 과정에서 위험한 행동을 보일 경우 35초 안에 추가 작동을 차단할 수 있는 중앙 통제 시스템을 구축했다. AI가 스스로 판단하고 외부 시스템을 조작하는 능력이 고도화하면서 연구자의 지시를 벗어난 행동을 신속하게 중단할 수 있는 안전장치를 마련한 것이다.</p>
          <figure class="figure_frm origin_fig" contents-hash="18a4cce0cf3874b976de4e1f985885da4d027d32fa89118a7e9bcc7e8ce50854" dmcf-pid="2hxuvejJEl" dmcf-ptype="figure">
           <p class="link_figure"><img alt="오픈AI 로고(사진=로이터/연합뉴스)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/10/Edaily/20261110225032099iurl.jpg" data-org-width="1200" dmcf-mid="bs25m4J6DT" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/10/Edaily/20261110225032099iurl.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            오픈AI 로고(사진=로이터/연합뉴스)
           </figcaption>
          </figure>
          <div contents-hash="f6c6bc6d1e20d9986773ea92bd3d35417f5ecd7741e316ff6cef9fe99381b4e2" dmcf-pid="VlM7TdAirh" dmcf-ptype="general">
           10일 오픈AI에 따르면 회사는 전날 공식 블로그를 통해 연구용 AI 모델의 작업을 추적하고 중단할 수 있는 ‘컨트롤 룸(Control Room)’을 도입했다고 밝혔다.
          </div>
          <p contents-hash="836182aa02fa02b63a381233b320283c7341f4813ced9bb10b267232f0bd0b98" dmcf-pid="fSRzyJcnIC" dmcf-ptype="general">컨트롤 룸은 AI 모델 학습과 평가, 데이터 처리 등 연구 인프라에서 실행되는 작업을 통합 관리하는 시스템이다. 사람이나 자동 감시 시스템이 위험을 감지해 중단을 결정하면 최대 35초 안에 해당 작업에서 더 이상 모델 출력을 생성하지 못하도록 차단한다.</p>
          <p contents-hash="b1349ecc5050c5af42e4503fb186b1a92d1341aca7d48456f248b0bee223d686" dmcf-pid="4veqWikLmI" dmcf-ptype="general">오픈AI는 “모델이 더욱 강력해지고 관련 안전·보안 위험이 커질수록 잠재적인 문제를 감지하고 필요할 때 모델을 신속하게 멈출 수 있는 능력이 중요해지고 있다”고 설명했다.</p>
          <p contents-hash="4266baba01fe27a6c541701edbbecbb6b4bfea799b157ff2b3c8dea41cb0f3f8" dmcf-pid="8TdBYnEoDO" dmcf-ptype="general">컨트롤 룸의 핵심은 AI가 실행하는 프로그램 자체가 아니라 모델의 추론 단계에서 작동을 차단한다는 점이다.</p>
          <p contents-hash="1e8d6d338b5bf3d5e21279265e3d7343bbcb27dc433671709a67e8541f1211bf" dmcf-pid="6yJbGLDgms" dmcf-ptype="general">연구자가 새로운 작업을 시작하면 컨트롤 룸에서 고유한 작업 식별번호(ID)를 발급받는다. 이후 AI 모델에 보내는 모든 추론 요청에는 해당 ID가 포함된다. 모델을 구동하는 추론 엔진은 요청을 처리하기 전에 컨트롤 룸에 작업이 승인된 상태인지 확인한다.</p>
          <p contents-hash="d481cfd112082a3644a78e7fd7652a9835989702059f3a75997724fa567cf8d2" dmcf-pid="PWiKHowasm" dmcf-ptype="general">위험이 감지돼 중단 결정이 내려지면 컨트롤 룸은 해당 작업의 추론 요청을 거부한다. 연구 프로그램 자체는 계속 실행될 수 있지만 AI 모델로부터 새로운 출력을 받을 수 없어 작업을 더 진행할 수 없게 된다.</p>
          <p contents-hash="69b3e9bcb02262a2b919a3b5d4db77893ca6ccbe552801f98b5c683cd56d50c3" dmcf-pid="QYn9XgrNwr" dmcf-ptype="general">연구자가 작성한 코드에 문제가 있거나 중단 명령을 따르지 않더라도 추론 엔진 단계에서 차단할 수 있도록 설계했다는 설명이다.</p>
          <p contents-hash="b70d50797b23a016c5982b539511646fd9f04cd956b0db4034be78341cf1db56" dmcf-pid="xGL2Zamjmw" dmcf-ptype="general">중단 명령이 내려진 뒤 실제 차단까지 걸리는 최대 시간은 35초다. 대량의 추론 요청을 처리하기 위해 승인 정보를 일시 저장하는 캐시 시스템 때문에 지연이 발생할 수 있다. 오픈AI는 이 시간을 사실상 0초로 줄이는 작업을 진행하고 있다.</p>
          <p contents-hash="2f3dd282d21576ddcc143887d8944e1d7ff0e88355f9ab99aa1e51514f4ac74c" dmcf-pid="y2SN4yFYDD" dmcf-ptype="general">컨트롤 룸 자체에 장애가 발생했을 때도 안전을 우선하도록 설계했다. 이른바 ‘페일 클로즈드(Fail Closed)’ 방식으로, 시스템 오류나 외부 공격 등으로 컨트롤 룸이 작동하지 않으면 추론 엔진이 모든 요청을 거부한다.</p>
          <p contents-hash="fcd28359093402b4a4038c46c33644c261f349029fd9f76f7603352d2938300d" dmcf-pid="WVvj8W3GmE" dmcf-ptype="general">통제 시스템을 무력화하더라도 AI 모델이 계속 작동하는 상황을 막기 위한 조치다. 오픈AI는 이 기능을 최첨단 AI 모델의 연구 작업에 적용했으며, 나머지 연구 작업에도 며칠 안에 확대할 계획이라고 밝혔다.</p>
          <p contents-hash="a08817ead03651241fc1b1e3ae27a0fe6ac0cc2aaaa34685badf3a716c1538c1" dmcf-pid="YfTA6Y0HIk" dmcf-ptype="general">이번 시스템은 오픈AI가 최근 공개한 연구용 AI 모델의 이상행동 사례와도 맞닿아 있다. 오픈AI는 앞서 일부 연구용 모델이 제한된 시험 환경에서 허가되지 않은 행동을 하거나 보안 평가 과정에서 부정행위를 시도한 사례를 공개했다. 또 AI 에이전트가 DNS를 이용해 외부 챗봇에 접근한 사례도 확인했다.</p>
          <p contents-hash="4e9ec0170661e45f6ca85ae3a676d17ffe38f8ac674dc099285b8db38cbc9e0e" dmcf-pid="G4ycPGpXwc" dmcf-ptype="general">오픈AI는 현재 최첨단 강화학습 작업에 별도의 감시 모델을 배치하고 있다. 감시 모델이 위험한 행동을 발견하면 경고를 발생시키고, 사안의 심각성에 따라 컨트롤 룸에 작업 중단을 요청할 수 있다.</p>
          <p contents-hash="6316425153a2b36c229cf4688c48187d85d6c0cdcef0a6801def10de74850045" dmcf-pid="H8WkQHUZIA" dmcf-ptype="general">다만 컨트롤 룸은 챗GPT 등 일반 이용자에게 제공되는 서비스에는 적용되지 않는다. 오픈AI는 외부 서비스 운영 시스템은 이미 중앙집중적으로 관리되고 있으며, 필요할 경우 모델 배포를 신속하게 중단할 수 있는 별도의 체계를 갖추고 있다고 설명했다.</p>
          <p contents-hash="1f256f6922d4ebd8f5401549362cd6dbfe1b686dc5a755dffadb20c54df6da0e" dmcf-pid="X6YExXu5Ej" dmcf-ptype="general">오픈AI는 컨트롤 룸이 AI 안전을 확보하기 위한 여러 수단 가운데 하나라며 앞으로 모델의 이상행동 감시와 보안 침해 탐지 기능을 함께 강화할 계획이라고 밝혔다.</p>
          <p contents-hash="ab791ded2467b62366bf5238305d8736502682fc8a2dfa3652625ad417c29d95" dmcf-pid="ZPGDMZ71IN" dmcf-ptype="general">이소현 (atoz@edaily.co.kr) </p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p>

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기