• 김준기 CTO, ‘추론·라우팅 최적화와 토큰 모니터링으로 완성하는 AI 팩토리’ 주제 발표
• AI 서비스 확산에 따른 추론·라우팅 최적화 및 토큰 모니터링 등 AI 인프라 운영 전략 공유
• KT와 GPUaaS 공동개발 이어 AI 인프라 분야 기술 협력 및 생태계 확대

AI 인프라 소프트웨어 기업 래블업(대표이사 신정규)은 9월 15일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘kt cloud summit 2026’에 참가해 AI 팩토리 운영을 위한 추론·라우팅 최적화 및 토큰 모니터링 전략을 발표했다.

‘kt cloud summit’은 AI 데이터센터(AIDC)와 클라우드를 중심으로 AI 전환(AX)에 필요한 기술과 산업 동향, 실제 적용 사례를 공유하는 kt cloud의 대표 연례 행사다.

올해는 ‘당신의 비즈니스를 위한 AX: AX 실행을 더 쉽게, 비즈니스 확장을 더 빠르게’를 주제로 AI 데이터센터, 클라우드 플랫폼, AI 팩토리, 재해복구(DR), 보안 등 AI 서비스 구축과 운영 전반에 걸친 다양한 기술과 사례가 소개됐다.

래블업에서는 김준기 최고기술책임자(CTO)가 ‘AIDC & AX Infrastructure’ 트랙에서 ‘추론·라우팅 최적화와 토큰 모니터링으로 완성하는 AI 팩토리’를 주제로 발표를 진행했다.

김준기 CTO는 발표에서 AI 서비스 운영 과정에서 발생하는 추론 요청을 효율적으로 처리하기 위한 라우팅 최적화와 토큰 사용량 모니터링 방안을 소개했다. 이를 통해 AI 인프라의 운영 효율성을 높이고, 대규모 AI 서비스를 안정적으로 운영·확장하기 위한 AI 팩토리 구현 방향을 공유했다.

래블업은 KT와의 AI 인프라 분야 협력도 지속하고 있다. 지난해 KT와 GPU 클라우드 서비스(GPUaaS) 공동 개발을 위한 업무협약을 체결하고, 기업들이 고성능 GPU 자원을 보다 효율적으로 활용할 수 있는 서비스 구축에 협력해왔다. 앞으로도 양사는 지속적으로 AI 인프라 분야 협력을 확대해 나갈 계획이다.

김준기 래블업 CTO는 “AI 인프라의 무게중심이 대규모 학습에서 추론과 실제 서비스 운영으로 빠르게 이동하면서, 다양한 모델과 이용자의 요청을 효율적으로 처리하는 것이 새로운 과제로 떠오르고 있다”며 “이번 kt cloud summit을 통해 래블업이 축적해 온 AI 인프라 운영 및 추론 최적화 경험을 공유했다. 앞으로도 기업들이 보다 효율적으로 AI 서비스를 구축하고 확장할 수 있도록 지원하겠다”고 말했다.