【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]"LLM만으론 로봇 제어 못 해"… AI 전문가들이 낸 해법은

온카뱅크관리자

2026-09-30 13:07:25

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">'삼성 AI 포럼'서 "텍스트 넘어 시각·공간 추론 결합해야"<br>"디지털 언어 지능, 물리세계로 직접 전이 불가" 한목소리<br>'시각·공간 추론' 결합하고 '계층적 에이전트' 구축해야</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="7QYS27kLmk">
          <figure class="figure_frm origin_fig" contents-hash="34da87ea61a598f404218cfd56b513e1a5ea5521e843b199295635270b3436fe" dmcf-pid="zxGvVzEomc" dmcf-ptype="figure">
           <p class="link_figure"><img alt="김윤형 삼성리서치 상무(MIT 교수)가 30일 서울 서초동 삼성 사옥에서 열린 '삼성 AI 포럼 2026' 패널 디스커션에서 발언을 하고 있다. (삼성AI포럼 유튜브 갈무리)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/30/Edaily/20260930125655345vcnb.jpg" data-org-width="1280" dmcf-mid="U6cQCDqFID" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/30/Edaily/20260930125655345vcnb.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            김윤형 삼성리서치 상무(MIT 교수)가 30일 서울 서초동 삼성 사옥에서 열린 '삼성 AI 포럼 2026' 패널 디스커션에서 발언을 하고 있다. (삼성AI포럼 유튜브 갈무리)
           </figcaption>
          </figure>
          <div contents-hash="80c8eea370a600189f6509233c0ab0a7b05a9a990dcb276c7895539b4f37df49" dmcf-pid="qMHTfqDgEA" dmcf-ptype="general">
           [이데일리 한광범 기자] 거대언어모델(LLM)이 보여준 뛰어난 언어·추론 지능만으로는 실제 물리 세계를 작동시키는 데 명확한 한계가 있다는 빅테크 전문가들의 공통된 진단이 나왔다. 텍스트 중심의 디지털 에이전트와 실제 신체를 갖고 움직이는 ‘피지컬 AI’는 작동 방식과 제약 조건이 근본적으로 다른 만큼, 시각·공간 추론과 연속 학습을 결합한 새로운 통합 패러다임이 시급하다는 지적이다.
          </div>
          <p contents-hash="5e9cc15e47be9b76c934643416dd32eee9bbd70475786b01e649df94b4040116" dmcf-pid="B9Cru1LxOj" dmcf-ptype="general">30일 서울 서초동 삼성 사옥에서 열린 ‘삼성 AI 포럼 2026’ 패널 디스커션에서는 호안 카를로스 니에블레스 삼성리서치 상무가 좌장을 맡은 가운데, 김윤형 삼성리서치 상무(MIT 교수)와 란제이 크리슈나 워싱턴대 교수가 참여해 에이전틱 AI와 피지컬 AI의 융합 방안을 깊이 있게 논의했다.</p>
          <p contents-hash="321dda94077b16d2cde209ffd21609158075af992732830a04425c586306752f" dmcf-pid="b2hm7toMsN" dmcf-ptype="general">이들 전문가들은 디지털 에이전트와 물리 로봇 간의 근본적인 차이점에 주목했다. 디지털 환경은 텍스트 중심의 이산적(Discrete) 세계이지만, 물리 세계는 실시간으로 변하고 충돌이 발생하는 연속적(Continuous) 환경이라는 지적이다.</p>
          <p contents-hash="356d8e8161098b8c5d187ecb05c2259f53534c9c7c4c1cc8376876d209944410" dmcf-pid="KVlszFgRra" dmcf-ptype="general">크리슈나 교수는 “웹이나 컴퓨터 환경에서 작동하는 에이전트는 정적인 환경 위에서 움직이지만, 물리 세계의 에이전트는 세상의 역학을 직접 이해해야 한다”며 “인간이 물건을 던졌을 때 궤적을 예측해 잡아내는 등의 연속적 제어는 텍스트 중심의 언어 공간만으로는 처리하기 극도로 어렵다”고 설명했다.</p>
          <p contents-hash="0cc94a02804e53e6d74bf3fb4d77f64a654f80fa58684fa3da6a77e0e4abdb9f" dmcf-pid="9fSOq3aemg" dmcf-ptype="general">‘실패 비용’ 차이도 핵심 제약으로 꼽혔다. 김윤형 상무는 “디지털 세계에서는 수백만 번의 시도를 거치는 비효율적인 강화학습이나 추론을 사용할 수 있지만, 물리 세계에서는 한 번의 실수가 치명적인 사고로 이어질 수 있다”며 “수학 문제를 잘 푸는 LLM의 지능을 로봇에 그대로 이식한다고 해서 물리 세계 제어로 자연스럽게 전이되는 것은 아니다”고 강조했다.</p>
          <p contents-hash="7a4d2c50555fc2af2357a95e7d22c450343e3957d6897796377878108b2c07e5" dmcf-pid="24vIB0Ndro" dmcf-ptype="general"><strong>‘연속 학습’과 ‘DRAM 효율적’ 온디바이스 아키텍처 필수</strong></p>
          <p contents-hash="5252f5b3df62333626c20be38e840756c040c1d6a831b4f49384af1fc2c97933" dmcf-pid="V8TCbpjJwL" dmcf-ptype="general">이 같은 한계를 극복하기 위해 새로운 아키텍처와 시스템 구조의 필요성이 제시됐다. 김 상무는 기존 트랜스포머의 어텐션 한계를 극복하는 ‘선형 어텐션(Linear Attention) 하이브리드’ 및 맥락을 잠재 공간으로 압축하는 ‘컴팩션(Compaction)’ 기술을 통해 무한한 데이터 환경에서도 지속해서 지식을 습득하는 ‘연속 학습’ 아키텍처를 제시했다.</p>
          <p contents-hash="744f5e6bda54d32018272408e12f61811ac95d207afd816729ceccb91441f97e" dmcf-pid="f6yhKUAiIn" dmcf-ptype="general">아울러 로봇과 같은 피지컬 AI 기기는 개인정보 보호와 즉각적인 반응성을 위해 클라우드가 아닌 온디바이스 배포가 필수적이며, 이를 위해 엣지 기기의 핵심 제약인 D램 용량을 효율화하는 ‘루프형 트랜스포머(Looped Transformer)’ 등의 구조가 결합돼야 한다고 덧붙였다.</p>
          <figure class="figure_frm origin_fig" contents-hash="aadaaffc1f88d5d7b1ad3447615dda6753b051aa501f71d8a720200418360d28" dmcf-pid="4PWl9ucnIi" dmcf-ptype="figure">
           <p class="link_figure"><img alt="란제이 크리슈나 워싱턴대 교수가 30일 서울 서초동 삼성 사옥에서 열린 '삼성 AI 포럼 2026' 패널 디스커션에서 발언을 하고 있다. (삼성AI포럼 유튜브 갈무리)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/30/Edaily/20260930125656588jpui.jpg" data-org-width="1280" dmcf-mid="u7Dj1WMVrE" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/30/Edaily/20260930125656588jpui.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            란제이 크리슈나 워싱턴대 교수가 30일 서울 서초동 삼성 사옥에서 열린 '삼성 AI 포럼 2026' 패널 디스커션에서 발언을 하고 있다. (삼성AI포럼 유튜브 갈무리)
           </figcaption>
          </figure>
          <div contents-hash="fdf3d0e81064725e7453bc48bb01b0c43229ccbf32bcfd9b7d4d2f4a65449c8c" dmcf-pid="8QYS27kLOJ" dmcf-ptype="general">
           김 상무는 “로봇이 새로운 환경에 배포돼 피드백에 반응하려면 텍스트를 넘어선 연속 학습 네이티브 아키텍처가 필수적”이라며 “온디바이스 배포 환경에 최적화된 구조가 피지컬 AI 분야에서 더욱 결정적인 역할을 할 것”이라고 강조했다.
          </div>
          <p contents-hash="16ec2107bb81e13de089722412c187eb11c8e0de7938d59d74dd8c255f25e34f" dmcf-pid="6xGvVzEoId" dmcf-ptype="general"><strong>상위 계획과 하위 제어 분리하는 ‘계층적 에이전트’가 해법</strong></p>
          <p contents-hash="5ba1109f66d74f51a9a3d67eeb93642d4cd94a8e3e26bd1ae135e563b632cea0" dmcf-pid="PMHTfqDgre" dmcf-ptype="general">피지컬 AI의 실질적 구현을 위한 시스템 해법으로는 ‘계층적 에이전트 시스템(Hierarchical Agentic System)’이 제시됐다. 상위 레이어의 LLM이 전체적인 장기 계획을 세우고 맥락을 기억하는 역할을 맡고, 하위 레이어의 제어 모델은 더 작고 빠른 속도로 실시간 물리적 변화에 반응하도록 역할을 분리하는 방식이다.</p>
          <p contents-hash="a6e791f76cdc134bfa285d3d9cf485ba03495bca60e8966407aa0ffeba8578c7" dmcf-pid="QMHTfqDgwR" dmcf-ptype="general">크리슈나 교수는 “오디오 영역에서 대형 모델과 유저 사이를 중계하는 소형 인터랙션 모델이 성과를 내듯, 로보틱스에서도 실시간 환경 변화에 가볍고 빠르게 대응하는 소형 제어 모델과 상위 LLM이 결합하는 아키텍처가 핵심 해법이 될 것”이라고 진단했다.</p>
          <p contents-hash="1757cb5e3736e5b45bc58fa90bacb5943ad2f63484b7298311e9711da5d81cc8" dmcf-pid="xRXy4BwawM" dmcf-ptype="general">그는 이어 “물리 세계의 추론을 위해 해킹 불가능한 고성능 시뮬레이션 환경을 구축하고, 텍스트와 시각/비디오 생성을 자유롭게 오가며 반가상 시나리오를 그려보는 ‘교차 시각 추론(Interleaved visual reasoning)’ 데이터를 확보하는 것이 앞으로의 성패를 가를 것”이라고 전망했다.</p>
          <p contents-hash="7b54135b98da91d16d37ce65fd6cb01e1e99b8d312ed1e67a9bce7a70e72e00f" dmcf-pid="yYJxhwB3mx" dmcf-ptype="general">한광범 (totoro@edaily.co.kr) </p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p>

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기