Make AI Composable²

lab | up > /conf/6

AI 분야는 과학, 공학의 시대를 넘어 이제 산업의 시대로 진입하고 있습니다. 각 시대에 필요한 다양한 기술을 개발하고 채워온 래블업이, AI 산업 시대의 빈 공간을 채우기 위해 만드는 기술과 사업에 대해 소개합니다.

AI 산업 시대의 엔드투엔드에 대하여

AI 에이전트가 우리의 업무 전반에 스며들면서 이를 뒷받침하기 위한 컴퓨팅 인프라의 병목이 하드웨어와 소프트웨어 양쪽에서 동시에 발생하고 있습니다. AI 반도체부터 모델 개발, 모델 최적화와 인프라 오케스트레이션까지 국내 대표 AI 인프라 기업들의 CTO들을 모시고 각자의 전문 분야에서 이러한 병목을 어떻게 해결해나가고 있는지 살펴봅니다. 또한 이러한 노력들이 앞으로 1인 1에이전트를 넘어 다수의 에이전트 팀을 운영하게 될 슈퍼 개인 생산자들의 업무 생산성으로 어떻게 연결될 수 있을지 함께 전망해봅니다.

AI 병목을 해결하는 인퍼런스 최적화

AI 챗봇에서 Agent로 사용처가 옮겨가며 토큰 사용량이 급격하게 증가하는 지금, 사용량과 함께 토큰 생성 속도에 대한 수요도 높아지고 있습니다. 최근의 LLM Inference 속도 가속 방법론들에 대해 살펴보고, Diffusion 방식을 사용하는 생성 속도 빠른 LLM 모델을 학습한 이야기를 다뤄봅니다.

LLM Inference 가속 트렌드와 Diffusion LLM 개발기

온프레미스 환경에 인프라 플랫폼을 배포하는 일은 단순히 설치 스크립트를 실행하는 과정이 아닙니다. 고객사마다 서로 다른 네트워크, 보안 정책, 하드웨어, 운영 절차에 맞추어 설치와 업그레이드를 일반화하고 일관된 사용자 경험을 제공할 수 있어야 합니다. 우리가 통제할 수 없는 고객 인프라에 플랫폼을 배포/운영하면서 마주한 문제와 경험에 대해 소개합니다.

우리가 통제할 수 없는 인프라에 AI 플랫폼 배포하기

AI가 코드를 대신 짜주는 시대가 왔지만, 결과물이 코드가 아니라 코드가 렌더링한 시각적 결과물이라면 이야기가 달라집니다. 결국 사람이 렌더링된 화면을 눈으로 확인하면서 디테일을 살려야 하는데, 원래도 중요하지만 지루하고 길었던 이 일이 이제는 프론트엔드 개발자에게 남은 거의 유일한 일이 되어버렸습니다. 그렇다면 이쪽에서 어떤 재미를 찾아야 할까요? backend.ai-webui를 위해 UI 컴포넌트와 문서 등을 만드는 과정의 이 지루함을 재밌고 편하게 만들기 위해 했던 고민과 시도들을 공유합니다.

UI가 포함된 PR인데, AI 믿고 그냥 merge할까요?

사내 인프라에서 GPU 인스턴스를 하나 만드는 일은 단순히 클라우드 콘솔에서 버튼을 누르는 과정이 아닙니다. AWS, Azure, OpenStack, 베어메탈은 생애주기부터 차이가 존재하지만, 이를 사용자가 전부 알아야 할 필요는 없습니다. 그렇다고 전부 감추면 필요한 순간에 손을 쓸 수 없게 됩니다. 추상화를 어디까지 할 것인가는 개발 비용의 문제가 아니라, 플랫폼이 복잡해질수록 쓰기 어려워진다는 사용자 경험의 문제가 됩니다. 사내 멀티클라우드 IDP인 Isla Sorna를 만들며 그은 선들에 대한 이야기를 합니다.

이슬라 소르나에서 공룡 기르기: 사내 멀티클라우드 IDP 이야기

우리는 매일 인터넷에서 오픈소스 패키지와 AI 모델을 받아 그 자리에서 실행하지만, 그 사이에 검증 단계는 없습니다. xz-utils 백도어나 LiteLLM 공급망 공격 사건처럼 정상적인 이름과 경로로 배포된 패키지에 악성코드가 심어지는 공급망 공격(supply chain attack)이 AI 시대 들어 더욱 빈번해지고 있습니다. 특히 AI 모델은 데이터처럼 보이지만 로드하는 순간 코드가 실행될 수 있습니다. 그래서 "받아서 바로 실행하지 말고, 검사한 뒤 반입해서 실행한다"는 원칙이 필요합니다. 공급망 공격 시대의 안전한 패키지 및 모델 반입을 위한 솔루션인 Backend.AI Reservoir와 Reservoir Model 서비스를 소개합니다.

공급망 공격 시대의 안전한 패키지 및 모델 반입 전략 - Reservoir & Reservoir Model

현재 Physical AI 연구의 가장 큰 병목 중 하나는 고품질 로봇 데이터가 절대적으로 부족하다는 점입니다. RLWRLD에서는 인간 시연을 활용해 로봇 학습 데이터를 확장성 있게 생성하는 기술을 연구하고 있습니다. Mannequin은 RLWRLD에서 개발한 데이터 파이프라인으로, 인간 시연 데이터를 로봇 embodiment에 맞게 변환하여 Robotics Foundation Model 학습에 바로 활용할 수 있는 로봇 데이터를 생성합니다. 이번 발표에서는 Mannequin의 전체 파이프라인과 핵심 기술, 그리고 실제 로봇 데이터 생성 사례를 소개합니다.

Mannequin: 인간 시연을 로봇 데이터로 바꾸는 RLWRLD의 데이터 파이프라인

GPU를 어떻게 잘 활용할지에 대한 고민도 얼마 되지 않은 것 같은데, 모델 학습과 인퍼런스 서비스 운영을 지나 이제 에이전트와 하네스를 이야기합니다. 그리고 지금은 그 끝에서 모두가 토큰이라는 단위를 보고 있습니다. 이제는 토큰이 지능의 계량 단위가 되어 누가, 어느 모델에 얼마만큼의 토큰을 썼고, 어떻게 현명하게 소비할지에 대한 질문들이 몰려옵니다. 지능이 흐르는 길목을 지키는 Continuum Router와 그 라우터들을 중앙에서 통제하는 Continuum Hub에 대해 소개합니다.

그래서 토큰은 누가 관리하나요?

AI Factory는 기술을 쌓아 올리는 프로젝트가 아니라, 데이터에서 서비스까지 이어지는 전체 흐름을 설계하는 일입니다. 이 세션에서는 데이터 활용과 이동, 인프라 확장성, 운영 효율성, 안정성, 비용 구조를 중심으로 AI Factory가 실제 성과로 이어지기 위해 필요한 다섯 가지 핵심 원칙을 제시합니다.

AI Factory를 성공으로 이끄는 5가지 핵심 원칙

AI가 코드를 무한히 만들어낼 수 있는 시대, 소프트웨어 개발의 가치는 '구현'에서 '설계'로 이동하고 있습니다. 무엇을 만들 것인가를 넘어, 얼마나 잘 동작하고 지속 가능하며 가치 있게 만들 것인가가 중요해집니다. 이미 다가온 AGI 시대에 설계의 본질을 통해 개발자의 역할을 다시 생각해봅니다.

Composable, But Designed.

RNGD를 위해 설계한 고성능 엔터프라이즈 서빙 엔진 Furiosa-LLM을 소개합니다. 프로젝트의 동기, 최신 릴리즈의 상태와 기능, 기존 서빙 엔진과의 관계 및 차이점, 내부 구조와 프로젝트의 방향성에 대해 설명합니다.

Furiosa-LLM: High-performance LLM Serving for RNGD

매주 다양한 형식으로 전달되는 식단표를 생성형 AI Agent를 통해 자동 정형화·표준화하고, 폐쇄망 환경의 데이터레이크 및 머신러닝 모델과 조합하여 식수예측을 수행하는 워크플로우를 소개합니다. 본 세션에서는 사내망과 폐쇄망이 공존하는 기업 환경에서 Agent, 데이터 파이프라인, Feature Engineering, 머신러닝, 딥러닝과 생성형 AI 기반 시각화를 각각 독립적인 컴포넌트로 구성하여 조합한 사례를 공유합니다.

기업환경에서 AI Agent부터 ML까지 하나의 워크플로우로

Agent Platform은 AI Agent를 만들고, 실행하고, 관리하는 모든 과정을 하나로 연결하는 플랫폼입니다. 사용자는 채널에서 여러 에이전트와 대화하며 작업을 진행할 수 있고, 프롬프트만으로 새로운 에이전트를 생성할 수 있습니다. 개발, 배포, 운영, 모니터링 기능을 통합 제공하여 에이전트 활용 경험을 더욱 쉽고 효율적으로 만듭니다.

AI Agents Platform: 에이전트 생성과 협업을 한자리에

AI 보안 침해 사고를 통해 기존 보안 스택의 한계를 짚고, AI 시스템을 위한 별도의 통제 계층이 왜 필요한지 이야기합니다.

에이전트 시대의 AI 보안

쿠버네티스는 인프라의 OS라고 불릴 정도로 많은 곳에서 사용되고 있습니다. 다만 CPU, 메모리를 제어하는 목적으로 시작해서 GPU를 효율적으로 사용하기에는 미흡한 부분들도 있는데, Device Plugin 방식부터 시작해서 DRA까지, 현재 쿠버네티스에서 GPU를 어떻게 사용하고 있는지, 어떤 문제점이 있는지 살펴봅니다.

쿠버네티스에서의 GPU 활용 방법의 변화

슬라이드 요청

같은 컨퍼런스의 다른 세션