전병곤 프렌들리AI 대표
HW-서비스 연결 중간 플랫폼
속도·비용 잡은 가속화 기술
북미 중심 해외 매출이 70%

“고객은 원하는 인공지능(AI) 모델만 고르면 됩니다. 최적화부터 배포와 운영까지 저희가 다 처리해드립니다.”

전병곤 프렌들리AI 대표(사진)는 17일 “우리는 하드웨어와 응용서비스 사이에서 추론 운영을 최적화해주는 중간 플랫폼”이라며 “AI 모델의 응답시간을 줄이고 그래픽처리장치(GPU) 사용량을 낮춰 비용을 줄이는 동시에 안정적으로 서비스를 운영할 수 있도록 돕는다”고 설명했다.

프렌들리AI는 일반 소비자에게는 낯설지만, 생성형 AI 산업의 핵심 인프라를 제공하는 스타트업이다. 이 회사가 개발한 플랫폼 ‘프렌들리 스위트’는 AI 모델을 ‘빠르고 싸고 안정적으로’ 돌릴 수 있게 만들어준다. SK텔레콤, 업스테이지, 트웰브랩스 등 AI 서비스를 제공하는 기업들이 프렌들리AI의 고객이다. 페이스북, 마이크로소프트 등에서 근무한 전 대표는 2013년부터 서울대 컴퓨터공학부 교수로 재직 중이다. 2021년 생성형 AI에 대한 접근성을 높이는 것을 목표로 창업에 나섰다. 한국경제신문과 KT가 공동으로 유망 AI 스타트업을 발굴하는 프로젝트 ‘코리아 프라미싱 AI 스타트업 2024’(KPAS 2024)에 선정됐다.

고객은 프렌들리AI 플랫폼에서 원하는 AI 모델을 선택해 사용할 수 있다. 글로벌 AI 모델 공유 서비스인 허깅페이스에 등록된 150만 개 모델 중 약 34만 개를 지원한다. 공개된 모델뿐 아니라 고객이 프라이빗하게 개발한 모델도 배포할 수 있다. 원하는 경우 데이터 세트만 올리면 파인튜닝도 자동 진행된다.

이 회사의 핵심 경쟁력은 추론 가속화 기술이다. 프렌들리AI는 자체 개발한 추론 솔루션 ‘프렌들리 엔진’을 보유하고 있다. 전 대표는 “16비트 모델을 8비트, 4비트로 바꾸는 양자화 기법을 통해 메모리 효율을 높이고 속도는 더 빠르게 한다”며 “모델 품질 저하 없이 고속 추론이 가능하다”고 했다. GPU 자원을 최대한 활용할 수 있는 ‘컨티뉴어스 배칭’ 기법도 갖췄다. 요청이 동시에 들어올 때 묶어서 처리하고, 중간에 끝난 요청은 먼저 내보내는 방식이다.

프렌들리AI는 설립 초기 자체적으로 파운데이션 모델을 개발했다. 하지만 오픈AI의 GPT-3 등장 이후 산업이 빠르게 변하면서 전략을 전환했다. 그는 “AI 모델 생태계가 워낙 빠르게 발전하다 보니 다양한 모델을 효과적으로 활용할 수 있는 플랫폼이 더 필요하다고 판단해 사업 방향을 바꿨다”고 말했다.

프렌들리AI는 AI 모델을 넘어 ‘에이전트 플랫폼’을 지향하고 있다. 전 대표는 “기업들이 원하는 기능의 AI 에이전트를 간편하게 구성하고 배포할 수 있도록 지원하는 플랫폼을 올여름 내놓을 것”이라며 “에이전트 마켓 형태로 템플릿을 제공하고, 이를 기반으로 서비스를 빠르게 출시할 수 있도록 돕겠다”고 했다.

글로벌 시장 공략도 본격화하고 있다. 전체 매출 중 약 70~80%가 해외에서 발생한다. 북미 지역 고객이 다수다. 최근에는 허깅페이스와 파트너십을 맺고 유럽 및 아시아·태평양 지역 기업들과 협력을 확대하고 있다.

이승우 기자 leeswoo@hankyung.com

Copyright © 한국경제. 무단전재 및 재배포 금지.