래블업은 8월 11일~13일 개최된 파이콘 한국 2023에서, AI 연구개발 및 서비스 플랫폼 소프트웨어인 Backend.AI 로 거대 언어 모델을 직접 만들고 파인 튜닝 및 서비스하는 과정을 자동화하는 기능 및 데모를 선보여 참석한 개발자들을 사로잡았다.

데모에서는 최근 Meta에서 공개한 Llama2 모델을 포함한 다양한 오픈소스 거대 언어 모델들을 Backend.AI 의 자동화 시스템인 FastTrack을 통해 한국어에 맞추어 미세조정하였다. Llama2 를 12시간만에 파인튜닝한 모델을 즉석에서 서비스로 만든 챗봇은 전용 UI를 통해 래블업의 엔비디아 H100 클라우드 팜을 통해 행사 기간 동안 서비스되어 많은 참가자들의 주목을 받았다.

Backend.AI는 ▲GPU 클러스터 활용도 극대화, ▲직관적인 사용자 경험 및 관리, ▲저비용/저지연 AI 모델 및 서비스기술, ▲다양한 AI 반도체 지원 등을 바탕으로 다양한 AI 개발 및 서비스 분야를 선도하는 기능을 제공하고 있다. 래블업은 이번 거대 언어 모델 개발, 파인 튜닝 및 서비스 자동화 기능 공개를 통해, 다양한 업무 자동화 및 연구, 프로그래밍 코드 개발등의 본격적인 생성 AI 응용 분야에 Backend.AI를 활용할 수 있음을 입증하였다.

신정규 래블업 대표는 "보안이 요구되는 기업 및 기관, 연구소 및 조직에 거대 언어 모델 기반의 다양한 서비스를 개발하고 사내에 통합하는 과정을 극단적으로 단순화하였다. 모든 조직들이 Backend.AI 를 사용해 필요에 맞는 고유한 거대 언어 모델을 쉽게 파인튜닝하고 운영할 수 있을 것" 이라고 자신했다.

현재 일부 Backend.AI 고객사들을 대상으로 베타 테스트 중인 거대 언어 모델 통합 기능은 9월 Backend.AI 정식 버전에 포함되어 온프레미스 고객사들에게 제공된다. 이 서비스는 국내 최대 슈퍼컴퓨팅 관련 학술대회 및 전시회인 KSC2023(8/21~23, 더케이호텔 서울)에서도 직접 확인할 수 있다.