Backend.AI는 래블업이 개발하고 있는 AI 인프라 운영 솔루션입니다. 온프레미스, 클라우드, 하이브리드 환경까지 다양한 종류의 인프라에 대응하기 위해 Backend.AI에는 AI 개발과 운영 환경을 최적화하기 위한 다양한 기능들이 있습니다. 사용자들은 여느 클라우드 서비스와 비슷하게 Backend.AI의 WebUI에서 가상 하드웨어 자원들을 설정하고 인스턴스와 프로그램들을 실행하지만, 실제로 편리한 UI 뒤에서는 Backend.AI 의 여러 컴포넌트들이 복잡한 조합을 이루며 동작하고 있습니다.

래블업은 더 많은 사용자가 Backend.AI를 쉽고 빠르게 경험할 수 있도록 연 2~4회 정기적으로 Backend.AI Hands-on 교육을 개최하고 있습니다. 이 Hands-on을 통해 참여자들은 Backend.AI의 시스템 구조와 Manager, Agent, Proxy 같은 컴포넌트들의 동작과 역할을 이해하고, 실제 Backend.AI를 활용하는 방법을 배우게 됩니다.Hands-on은 약 반나절 과정으로, GPU와 Docker가 설치되어 있는 Ubuntu Linux 환경에서 Backend.AI를 직접 설치하고, Hugging Face에 공개되어 있는 모델을 내려받아 Backend.AI WebUI에서 서비스로 실행 해 보는 것 까지 진행됩니다.

Backend.AI를 실제 엔터프라이즈 운영 환경에 설치하기 위해서는 별도의 절차와 검토 과정이 필요하지만, Hands-on과 같은 환경에서 최소 사양으로 쉽게 설치를 해 볼 수 있도록 https://www.backend.ai/download 에서 단일 설치 파일을 제공하고 있습니다.

Hands-on 교육에서 가장 큰 난관 중 하나는 GPU 인스턴스와 같은 고성능 개발 환경을 참가자 개개인에게 제공하는 일입니다. 특히 GPU 자원은 비용 부담이 커 개인이 직접 준비하기 어렵고, 이로 인해 많은 참가자들이 원격 환경을 선호하는 경향이 있습니다. 일반적으로 회사 내부의 GPU 자원을 활용하는 경우도 있지만, 회사 자원의 사이즈가 제한되어 있기 때문에 유연하게 상황에 따라 대응하기엔 어려움이 있습니다.

래블업은 이러한 문제를 해결하고자 이번 Hands-on을 위해 래블업과 파트너십 관계를 정립해나가고 있는 클라우드 컴퓨팅 기업, Vultr에서 30여개의 L40s GPU 인스턴스를 제공받았습니다. 교육을 준비하는 과정에서 래블업 담당자가 각 인스턴스에 접속하여 기본 설정을 마친 채로 통일된 환경을 참가자들에게 배포할 수 있었고, 참가자 개개인은 준비된 인스턴스를 사용하여 독립적인 GPU 환경에서 실습을 진행함으로써 그 어느때보다 원활하고 효율적인 교육이 가능했습니다.

이번 Hands-on에도 많은 분들이 참여해주셨고, 참가자들은 직접 설치한 Backend.AI 위에 Huggingface에서 제공하는 google/gemma-2-9b-it 모델까지 성공적으로 구동해보는 경험을 할 수 있었습니다. 참가자들은 단순히 Backend.AI를 설치해보기만 한 것이 아니라, 실무에서 어떻게 하면 Backend.AI를 더 잘 사용할 수 있을지, 실무에 어떻게 AI를 접목할 수 있을지 생각해보는 시간이 되기도 했습니다.

래블업이 이번 Hands-on에 Vultr의 클라우드 GPU 자원을 적극 활용한 이유는, 누구나 쉽게 고성능 AI 인프라를 경험할 수 있도록 접근성과 실용성을 높이기 위함입니다. 래블업은 최근 Vultr와 함께 NVIDIA의 최신 B200 하드웨어로 구성된 Vultr Cloud GPU 환경 위에 Backend.AI를 설치하여 다양한 벤치마크 프로젝트를 수행했고, 도메인 특화 LLM을 만들기 위한 합성데이터 생성 과정에서 Vultr Cloud GPU와 Backend.AI가 시너지를 낼 수 있는 영역을 발굴하였습니다. 이에 대한 내용은 다음 링크에서 보실 수 있습니다.