'고위험 모델 출시 제한' 원칙…레드팀·감시시스템·접근통제 등 6중 안전장치 가동

(지디넷코리아=조이환 기자)생물학 분야에서의 인공지능(AI) 활용이 기회와 위기의 경계선에 선 가운데 오픈AI가 이를 통제할 준비에 나섰다. 치료제 개발 등 긍정적 응용은 키우되 생물무기화 등 악용 소지는 선제 차단하겠다는 입장이다.

19일 오픈AI 공식 블로그에 따르면 이 회사는 생물학 분야에서 AI가 높은 수준의 위험 역량을 갖출 가능성을 인정하고 이를 전제로 한 완화 계획을 공개했다. 모델의 실제 출시 전부터 단계별로 위험을 평가하고 정부 및 전문가 집단과의 협업을 강화하겠다는 내용이다.

오픈AI는 이미 생물학자들과 협력해 이중 용도 평가 데이터를 구축했고 생물무기화를 방지하는 학습 체계를 모델에 적용해왔다. 특히 면역학이나 유전공학 등 민감 주제에 대해선 초보자가 따라할 수 있는 수준의 구체 지침을 모델이 출력하지 않도록 훈련 중이다.

샘 알트먼 오픈AI 대표 (사진=지디넷코리아)

또 위험한 요청을 실시간으로 감지하는 시스템을 전사적으로 운영 중이다. 위험성이 감지되면 AI 모델의 응답을 즉시 차단하고 자동 검토 뒤 사람이 직접 확인하는 절차까지 이어진다. 악용이 의심되면 계정을 막고 경우에 따라 경찰이나 관련 기관에 신고하게 된다.

더불어 실제 모델을 악용 가능한 방식으로 실험하는 전문 레드팀도 운영 중이다. 생물학자와 AI 보안 전문가를 짝지어 현실적 시나리오에서 취약점을 발굴하는 방식이다.

오픈AI는 이러한 안전 조치를 통해 모델 접근 제한 조치를 유지하면서도 검증된 기관엔 생물학 발전 목적의 활용 기회를 열겠다는 방침이다. 백신 개발, 병원체 탐지, 진단 솔루션 개선 등에 모델이 실질적 도움을 줄 수 있다고 판단하고 있다.

안전 외적 요소로도 시야를 넓혔다. 모델 자체 보호뿐 아니라 합성 유전자 감시 체계, 병원체 조기 탐지 인프라, 생물학 인프라 경화 같은 생태계 단위의 보안까지 대응이 필요하다고 보는 것이다.

이 같은 논의를 위해 오는 7월에는 생물방어 정상회의(Biodefense Summit)를 연다. 미국 및 우방국 정부 기관, 비정부기구(NGO) 등으로 구성된 협력체계를 통해 기술 진보와 안전 사이의 균형을 본격 논의할 예정이다.

오픈AI는 향후 AI와 생물학 융합이 신약·백신·연료·치료제 등 다양한 분야의 창업 기회로 이어질 수 있다고 전망했다. AI 안전 기술 자체도 하나의 산업 영역으로 성장 가능성이 있다는 판단이다.

오픈AI는 이사회 산하 안전·보안 위원회와 독립적인 평가 조직을 통해 모델 위험성을 평가하고 있다. 이 기준에 따르면 '높음' 수준 역량은 초보자도 AI의 도움으로 생물학적 위협을 만들어낼 수 있을 만큼 모델이 강력해진 상태를 뜻한다. 이런 모델은 일반에 공개하지 않거나 일부 기능을 제한하는 방식으로 출시가 조정된다.

오픈AI는 "생물학적 위협은 극단적 피해로 이어질 수 있기 때문에 사전 대응이 필수"라며 "고위험 모델은 충분한 완화 조치 없이는 절대 출시하지 않을 것"이라고 밝혔다.

조이환 기자(ianyhcho@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.