래블업의 이야기를 확인해보세요.

래블업과 함께 성장하는 전문가들의 이야기를 들어보세요.

김태은

2025년 여름, 6월부터 8월까지 래블업에서 리서치 인턴으로 일했습니다. 래블업은 AI 연구와 서비스 운영에 필요한 인프라를 만들고 개선하는 회사입니다. Backend.AI를 중심으로 GPU 자원 관리, 실험 환경 구성, 워크로드 실행, 자동화 도구 같은 영역을 다룹니다.

인턴십 이전까지 제가 경험한 AI는 주로 모델 학습과 최적화에 가까웠습니다. 어떤 모델을 쓰고, 어떻게 학습시키고, 성능을 어떻게 개선할지 고민하는 쪽에 더 익숙했습니다. 하지만 래블업에서 맡은 일들은 그보다 한 단계 바깥에 있었습니다. 래블업에서 저는 GPU 벤치마크를 분석하고, FastTrack을 사용하며 개선점을 찾고, PyCon 부스 이벤트 페이지를 만들고, 오픈소스 프로젝트에 직접 pull request를 제출하는 것과 같은 다양한 일들을 할 수 있었습니다. 내부 실험 환경을 사용하면서 문제를 기록하고, 결과를 문서화하고, 팀에서 다시 활용할 수 있도록 정리하는 일도 진행했습니다.

이 글에서는 인턴십 동안 했던 작업들을 중심으로, 모델을 실행하고 운영하는 환경을 다루며 배운 점을 정리해보려 합니다.

## 인턴십에서 맡은 일들

리서치 인턴의 업무는 Backend.AI 생태계에 익숙해지는 것에서 시작되었습니다. Backend.AI의 WebUI와 FastTrack을 사용해보고, 실제 사용 시나리오에서 문제가 생기는 지점을 기록하고, 필요한 경우 이슈를 제보하거나 직접 수정했습니다. 동시에 GPU 벤치마크 분석처럼 리서치 팀의 작업에 가까운 일도 함께 진행하기도 했습니다.

처음에는 Backend.AI와 FastTrack의 구조가 낯설었습니다. 하지만 직접 워크로드를 실행하고, 설정을 바꿔보고, 결과를 비교하다 보니 AI 인프라에서 중요한 문제가 조금씩 보이기 시작했습니다. 모델 성능만큼이나 실행 환경의 안정성, 반복 가능한 실험, 결과를 해석할 수 있는 지표, 그리고 도구의 사용성이 중요하다는 사실도 배울 수 있었습니다.

이번 인턴십에서 주로 작업한 내용은 크게 아래의 세 가지로 요약할 수 있습니다.

* GPU 벤치마크 결과를 분석하고 성능 지표를 개선하는 일
* FastTrack을 사용하며 발견한 버그와 사용성 문제를 수정하는 일
* PyCon 2025 부스 이벤트를 위한 피드백 수집 페이지를 만드는 일

여기에 더해 각 작업의 결과와 과정을 문서화하고, 팀원들과 논의하며 다음 작업으로 이어지도록 만드는 것도 중요한 부분이었습니다. 처음에는 제품을 사용하는 입장에 가까웠지만, 시간이 지나면서 문제를 재현하고, 원인을 좁히고, 수정 방향을 제안하거나 직접 구현하는 역할까지 맡게 되었습니다.

## GPU 워크로드 벤치마킹

주요 프로젝트 중 하나는 GPU 벤치마크 분석이었습니다. 목표는 다양한 설정이 벤치마크 성능에 어떤 영향을 주는지 평가하고, FastTrack을 통해 이 과정을 일부 자동화하는 것이었습니다. 단순히 벤치마크를 실행하는 데서 끝나는 것이 아니라, 설정을 바꿔가며 결과를 비교하고, 결과가 흔들리는 원인을 찾아보고, 반복 실행을 통해 안정성을 확인하는 과정이 필요했습니다.

AI 워크로드 벤치마킹은 처음에는 단순해 보입니다. 워크로드를 실행하고, 수치를 수집하고, 결과를 비교하면 될 것처럼 보이죠. 하지만 실제로는 벤치마크 결과에 편차가 생기는 이유가 항상 명확하지는 않습니다. 네트워크 지연, 실행 간 편차, 요청 패턴, 시스템 상태 같은 요소가 모두 지표에 영향을 줄 수 있었습니다. 하나의 평균값만으로는 무슨 일이 일어나고 있는지 충분히 설명하기 어려웠습니다.

그래서 여러 실행 간 벤치마크 결과의 일관성을 살펴보고, 무엇을 측정해야 하는지 더 신중하게 생각하게 되었습니다. 네트워크 지연의 영향을 줄여보는 실험을 진행했고, 같은 조건에서 여러 번 실행했을 때 결과가 얼마나 안정적으로 유지되는지도 확인했습니다. 처리량과 지연 시간뿐 아니라 편차도 중요한 신호라는 사실도 배웠습니다. 특히 추론 워크로드에서는 요청별 토큰 처리량의 편차가 집계 지표만으로는 보이지 않는 불안정성을 드러낼 수 있다는 사실도 흥미로웠습니다.

이 실험과 분석 내용을 래블업 내부 Knowledge Base에 문서화해 팀이 다시 참고할 수 있도록 했습니다. 결과를 표로 모으는 것뿐 아니라, 어떤 조건에서 어떤 차이가 나타났는지, 어떤 결과는 다시 확인이 필요한지, 이후 자동화할 때 무엇을 고려해야 하는지도 함께 남겼습니다. 이후에는 리서치 팀의 벤치마킹 스크립트에 요청별 토큰 처리량 편차 지표를 추가했습니다. 작은 기여였지만, 벤치마크 결과를 단일 대표값 이상으로 해석할 수 있게 만든다는 점에서 의미 있는 작업이었습니다.

이 작업에서 얻은 가장 큰 배움은 벤치마킹이 단순히 더 빠른 숫자를 만드는 일이 아니라는 점입니다. 중요한 것은 측정 과정 자체를 신뢰할 수 있게 만드는 것입니다. AI 인프라에서 믿을 수 있는 벤치마크를 만들려면 반복 가능성, 편차를 설명할 수 있는 충분한 맥락, 그리고 수작업으로 인한 불일치를 줄이는 자동화가 필요하다는 사실을 배울 수 있었습니다.

## FastTrack 사용성 개선과 오픈소스 기여

GPU 벤치마크 작업을 진행하면서 FastTrack을 자주 사용하게 되었습니다. FastTrack은 실험과 자동화 작업을 더 쉽게 구성할 수 있도록 돕는 도구였고, 실제로 사용하다 보니 기능뿐 아니라 사용 흐름과 인터페이스도 자연스럽게 눈에 들어오기 시작했습니다. 벤치마크 자동화에 필요한 흐름을 따라가다 보면, 어떤 입력이 헷갈리는지, 어떤 상태가 더 명확히 보여야 하는지, 어떤 동작은 사용자가 예상한 방식과 다르게 느껴지는지 확인할 수 있었습니다. 레이블, 상태 표시, 워크플로우 등은 각각만 보면 사소해 보일 수 있습니다. 하지만 사용자가 실험을 실행하거나 자원을 관리하는 중이라면 이런 작은 마찰도 작업 속도와 정확성에 영향을 줍니다. 인프라 소프트웨어에서 사용성은 기술적 품질과 분리된 요소가 아니었습니다.

인턴십 초기에 FastTrack 모달의 레이블과 관련된 작은 이슈를 제보한 적이 있습니다. 이 이슈는 빠르게 논의되고 수정되었습니다. 변경 자체는 작았지만, 실제 사용 중 발견한 문제가 제품 개선으로 이어지는 과정을 경험할 수 있었습니다.

![FastTrack 사용 화면](https://cdn.lablup.com/review_image_02eb776321.png)

이후 FastTrack을 사용하면서 더 많은 버그와 사용성 개선 지점을 발견했고, 결국에는 프로젝트에 직접 기여하게 되었습니다. 인턴십 동안 FastTrack에 여섯 개의 pull request를 제출했고, 버그 리포트를 해결했으며, 사용자 경험을 개선하기 위한 다양한 논의에 참여했습니다. 처음에는 이슈를 정리하고 질문하는 것에서 시작했지만, 점차 코드베이스를 읽고 변경 범위를 파악한 뒤 직접 수정안을 만들 수 있게 되었죠.

이 과정을 통해 개발자 도구는 작고 구체적인 반복을 통해 좋아진다는 것을 배울 수 있었니다. 이슈 리포트, 코드 리뷰, pull request 하나하나가 더 큰 제품 피드백 루프의 일부가 되는 것이죠. 특히 오픈소스 인프라 프로젝트에서는 사용자, 기여자, 메인테이너의 경계가 유동적일 수 있기 때문에 이런 루프가 더욱 중요하다는 것을 느낄 수 있었습니다.

## PyCon 피드백 설문 페이지 만들기

PyCon 2025를 앞두고 래블업 부스 이벤트 페이지를 만드는 작업에도 참여했습니다. 이 페이지는 참가자가 두 개의 AI 생성 블로그 결과물과 사람이 작성한 글을 비교하며 피드백을 제출할 수 있도록 설계되었습니다. 참가자가 생성 AI가 만든 문장을 읽고 선택을 제출하면 그 응답이 분석 가능한 형태로 저장되어야 하는 작은 실험 도구의 형태였습니다.

페이지는 Next.js, Tailwind CSS, shadcn/ui로 만들었습니다. 데이터 저장은 Google Apps Script를 통해 Google Sheets에 연결했고, 배포는 AWS Amplify를 사용했습니다. 프론트엔드 화면 구성, 응답 제출 흐름, Google Sheets 연동, 배포 설정까지 한 번에 다루어야 했기 때문에 비교적 작은 애플리케이션이었지만 실제 이벤트 환경에서 가벼운 데이터 수집 워크플로우를 만드는 좋은 연습이었습니다.

![PyCon 부스 피드백 페이지](https://cdn.lablup.com/pycon_11acef6aeb.png)

설문은 200여명 이상이 참여했고, 천 건 이상의 응답이 모였습니다. 실험 과정과 응답 결과를 학회에서 발표하기도 했습니다. 엔지니어링 관점에서 보면, 단순한 애플리케이션이라도 실제 운영을 염두에 두는 순간 여러 문제가 드러난다는 것을 보여준 프로젝트였습니다. 명확한 인터페이스, 일관된 구조의 데이터 수집, 빠른 배포, 그리고 행사 당일 트래픽 증가에 대한 대비까지 중요하지 않은 일이 없었습니다.

이 경험 역시 인턴십의 큰 주제와 연결되었습니다. GPU 워크로드를 벤치마킹하든, 사람의 선호 데이터를 수집하든, 결과를 둘러싼 시스템이 중요하다는 사실 말입니다. 도구, 배포, 데이터 저장, 사용자 경험이 모두 최종 결과의 품질에 영향을 준다는 점도 배울 수 있었습니다.

## 오픈소스와 커뮤니티 맥락

래블업의 엔지니어링 문화는 오픈소스 커뮤니티와 인프라 제품이 서로 어떻게 영향을 주고받는지도 가까이에서 볼 수 있게 해주었습니다. AI 인프라는 더 넓은 클라우드 네이티브 생태계와 분리되어 존재하지 않습니다. 컨테이너, 오케스트레이션, 스케줄링, 관찰 가능성, 재현 가능한 운영 같은 여러 공통된 아이디어 위에 만들어집니다.

래블업이 스폰서로 참여한 KubeCon + CloudNativeCon 2025에 참석할 기회가 있었습니다. 이 컨퍼런스를 통해 클라우드 네이티브 인프라와 AI 인프라의 연결이 더 분명하게 보였습니다. 또한 이 때의 경험은 이후에 쿠버네티스에 대한 첫 오픈소스 기여로 이어질 수 있었습니다. 저는 지금도 저는 SIG Docs 커뮤니티 내에서 계속해서 적극적으로 기여하고 있으며, 라즈베리 파이 클러스터로 구성된 소규모 홈랩을 운영하며 클라우드 네이티브 기술을 더 깊이 탐구하고 있습니다.

이후 래블업은 Emory University의 CS 해커톤에 GPU 자원과 Backend.AI 접근 권한을 지원했습니다. 이 환경에서는 온보딩과 사용성의 중요성이 매우 뚜렷하게 드러났습니다. 참가자들은 저의 짧은 설명을 듣고 정해진 시간 안에 플랫폼을 이해하고, 워크로드를 실행하고, 문제를 해결해야 했습니다.

![Emory University 해커톤](https://cdn.lablup.com/Hackathon_images_2a0b7c23eb.png)

이 경험들을 통해 인프라 플랫폼은 복잡한 컴퓨팅 자원과 그것을 사용하려는 사람들 사이의 인터페이스이기도 합니다. 좋은 인프라는 강력한 시스템을 더 쉽게 접근할 수 있게 만들어야 하다는 점을 깨달을 수 있었고 래블업이 오픈소스 기여와 커뮤니티 참여를 적극적으로 장려하는 문화 구축을 얼마나 중요하게 생각하는지 알 수 있었습니다.

## 돌아보며

래블업에서의 인턴십은 AI 엔지니어링을 바라보는 방식을 바꾸어 주었습니다. 이전에는 주로 모델 개발의 관점에서 AI를 바라봤습니다. 하지만 벤치마킹, FastTrack 기여, 이벤트 페이지 개발, 오픈소스 워크플로우를 경험하며 모델을 둘러싼 인프라가 모델 자체만큼 중요하다는 것을 알게 되었습니다.

가장 큰 배움은 AI 인프라에는 측정, 자동화, 사용성, 커뮤니티 피드백이 함께 필요하다는 점입니다. 신뢰할 수 있는 시스템은 성능을 최적화하는 것만으로 만들어지지 않습니다. 결과를 해석 가능하게 만들고, 도구를 사용하기 쉽게 만들고, 워크플로우를 반복 가능하게 만드는 과정이 함께 필요합니다.

AI 분야에 처음 들어오면 모델 아키텍처나 학습 기법에 집중하기 쉽습니다. 물론 그것들도 중요합니다. 하지만 그것은 전체 그림의 일부일 뿐입니다. AI 워크로드가 더 커지고 더 넓게 배포될수록, 그 워크로드를 뒷받침하는 시스템은 팀이 실제로 무엇을 만들고, 테스트하고, 운영할 수 있는지를 계속해서 결정하게 될 것입니다.

태은님은 래블업 리서치 인턴으로 Backend.AI, FastTrack GPU 벤치마킹, 오픈소스 기여, PyCon 이벤트 페이지 개발을 경험했습니다. 태은님이 래블업에서 AI 인프라 운영 환경을 직접 다루며 배운 점을 정리합니다.

인턴일기

모델 학습을 넘어 AI 인프라를 경험하다

권용근

## 개요

2024년 5월, 래블업의 페이스북에 올라온 인턴 모집 게시글을 통해 인턴십 프로그램에 지원하게 되었다. 지원서를 영어로 작성하며 힘들었던 기억이 아직도 생생하다. (한글, 영어 모두 상관없다고 되어 있었지만, 왠지 영어로 작성해야만 할 것 같았다.) 래블업이 오픈소스 기반의 소프트웨어인 Backend.AI를 개발하는 회사인만큼 래블업에 지원하기 위해서는 개발 역량이 중요하다고 생각했지만, 내가 여태껏 학습한 내용은 모두 AI 연구와 관련된 내용이었기에 고민이 있었다. 약간의 고민 끝에 당당하게 '리서치팀'에 지원하기로 결정했다.

면접에는 리서치팀 소속인 세르게이님과 은진님, devops팀 소속인 규진님이 들어왔고, 3:1 영어 면접 방식으로 진행되었다. 포트폴리오에 있는 프로젝트를 프리스타일 영어로 최대한 열심히 설명했는데, 정신을 차려보니 40분이 훌쩍 지나있었다. 영어 회화 실력이 부족하다고 생각했기 때문에 준비했던 내용들을 충분히 전달하지 못한 것 같아 무척이나 아쉬웠고, 사실 결과에 큰 기대를 하지 않고 있었다. 그러나 정말 운 좋게도 3일 뒤 합격 메일을 받게 되었다.

그렇게 7월부터 나를 포함한 총 4명의 인턴분들과 인턴십 생활을 시작하게 되었다. 래블업은 나에게 인생 첫 회사였는데, 그러다 보니 최대한 단정한 옷차림과 용모로 출근하려고 했다. 한여름에 긴팔 셔츠와 슬랙스를 입고 출근했는데, 10시가 되기 조금 전 도착한 오피스에는 캐주얼한 반바지에 운동화를 신은 종은님만 계셨다. 종은님은 “우리 회사는 따로 정해진 자리가 없으니 편한 곳에 앉으시면 된다” 라고 말씀해주시며 다른분들은 재택근무 중이라고 하셨다. 그리고 나는 10시 all-hands meeting에서 종은님의 화면을 통해 구성원들과 인사할 수 있었다. 평소 생각했던 회사라는 이미지와는 너무 다른 모습에 적잖게 당황했지만 이후 자기소개 시간, coffee chat 등의 기회를 통해 여러 구성원들과 얘기하며 래블업만의 분위기에 적응해 나갈 수 있었다.

## 업무
### Developing domain adaptive language model

온보딩 [Backend.AI](http://Backend.AI/) 설치 이후, 리서치팀에 합류하며 본격적으로 업무를 시작하게 되었다. 리서치팀에서의 첫번째 업무는 무역 도메인에 특화된 언어모델을 개발하는 것이었다.

 ![](https://cdn.lablup.com/Developing_a_Domain_Adaptive_Language_Model_image_6faf49194c.png) 

큰 흐름은 위의 그림과 같다. 언어모델이 무역 도메인과 관련된 이메일 대화로부터 키워드와 요약본을 추출할 수 있도록 학습시키고, 학습된 언어모델이 키워드와 요약본을 추출하면 고객이 이들을 바탕으로 견적서를 생성할 수 있도록 하는 것이었다. 모델 개발 및 평가에 관한 자세한 내용은 [래블업 블로그 ](https://www.backend.ai/ko/blog/2024-09-26-finetuning-with-fasttrack)에서 확인할 수 있다.

이러한 언어모델을 개발하기 위해 [데이터셋 수집 및 전처리] - [모델 학습] - [평가] 의 일련의 과정이 필요했다. 중간중간 궁금한 점도 많았고, 처음에는 [Backend.AI](http://Backend.AI/) 환경에서의 작업도 익숙치 않아 구성원들에게 이것저것 도움을 많이 구했던 기억이 있다. 인턴 기간은 고작 두 달이었기에 하루하루가 소중했는데, 삽질을 하는 경우가 생기면 소중한 하루가 통째로 날아갈 수도 있어 조금이라도 모르는 것이 생기면 지체하지 않고 도움을 청해야만 했다.

래블업의 문화에서 가장 좋았던 점을 꼽자면, 비동기적 소통 방식의 지향이었다. 내가 모르는 내용을 사내 메신저에 던져놓으면, 지금 당장이 아니더라도 언젠가는 누군가 질문에 대한 답변을 해주는 방식이다. 채널에 있는 모든 구성원이 내 질문을 본다는 것이 처음에는 약간 부담스러웠지만, 삽질로 시간을 날리는 것이 더 큰 압박이었기에 채널에 질문을 남길 수 밖에 없었다. 다행히 어떤 구성원이든 친절하게 질문에 답해주었고, 질문에 답변이 달리는 시간 동안 나는 다른 업무를 처리할 수 있어 시간도 아낄 수 있었다. 오픈소스 기반으로 성장해 온 회사의 문화적인 장점을 느낄 수 있었다.

### Evaluating agent Helmsman with LLM

앞서 말했듯, 래블업은 Backend.AI라는 소프트웨어를 개발하는 회사이다. Backend.AI에는 정말 많은 CLI (Command Line Interface) 기반 명령어들이 존재하는데, 사용자가 이러한 명령어를 모두 외우는 것은 사실상 어려운 일이다. 이런 사용자들을 위해 GUI (Graphic User Interface)기반으로 작업할 수 있는 Backend.AI WebUI가 존재하지만, Backend.AI를 처음 사용하는 사용자에게는 이 또한 익숙하지 않을 수 있다.

Helmsman은 이러한 문제점을 해결할 수 있는 LLM agent이다. 사용자가 채팅 기반 인터페이스를 통해 Helmsman 에게 자연어로 요구사항(e.g. 세션을 만들어줘, llama 7b 모델을 학습시키고 싶어)을 전달하면, Helmsman이 요구사항에 맞는 적절한 CLI 명령어를 제공하거나 명령어를 실행해주기도 한다. 사용자 입장에서는 채팅으로만 요구사항만 전달하면 에이전트가 세션 생성, 데이터셋 다운로드, 모델 학습까지 실행해주니 이보다 더 편할 수는 없을 것이다.

하지만 Helmsman이 언제나 정확한 답변을 하는 것은 아니었다. Helmsman 또한 Backend.AI의 CLI 문서들과 명령어를 기반으로 답변하는 로직이었기 때문에 문서가 오래되었거나, 잘못된 정보를 포함한 경우에는 잘못된 답변을 할 수 있었다. 또한 Helmsman은 LLM 기반 에이전트이기 때문에 LLM 고유의 문제인 환각 현상(hallucination)이 발생할 수 있었다. 따라서, 다양한 지시사항에 대해 Helmsman이 얼마나 올바른 답변을 하는지, 실제로 문서에 잘못된 부분은 없는지 확인하는 과정이 필요했다. 연구팀의 세르게이님, 은진님과 회의를 거쳐 아래와 같은 구조의 LLM 기반 평가 시스템을 구축하기로 했다.

 ![](https://cdn.lablup.com/LLM_image_c3b2c075a0.png) 


#### 1. LLM1: Instruction Generator

첫 번째 단계는 Instruction Generator LLM이 수행한다. 해당 LLM은 Backend.AI의 문서를 분석하여 사용자가 실제로 Backend.AI에서 사용할만한 요구사항(Instruction)을 생성한다.
예를 들어, "4CPU core, 16GB of memory의 session을 만들어줘"와 같은 요구사항을 생성하게 된다.

--- 

#### 2. LLM2: CLI Command Generator

두 번째 단계는 CLI Command Generator LLM이 수행한다. 이 LLM은 첫 번째 LLM이 생성한 Instruction과 CLI 문서, 그리고 몇 가지 예제(Few-shot Examples)를 기반으로 CLI 명령어를 생성한다.
예를 들어, 아래와 같은 명령어를 생성할 수 있다.
```
'[Backend.AI](http://backend.ai/) session create
--name cli-test-session --resources cpu=4
--resources mem=16g --resources cuda.shares=2 ,…’
```

---

#### 3. CLI Command 실행 및 로깅

생성된 CLI 명령어는 실제로 실행되며, 그 결과는 아래와 같이 기록된다

- **성공/실패 여부**: 명령어가 의도대로 작동했는지 확인. 
- **에러 로그**: 실패 시 발생한 에러 메시지 기록. 
- **참고 문서**: 명령어를 생성하는 데 사용된 문서 정보 기록. 이 과정을 통해 사용자는 명령어의 작동 결과를 확인할 수 있을 뿐만 아니라, 문제가 발생한 경우 이를 해결하기 위한 추가 정보를 확보할 수 있다.

### 결과 분석

 ![](https://cdn.lablup.com/image_f83afde9c3.png) 

에러의 원인은 크게 세종류로 분류할 수 있다.

첫 번째, Instruction Error는 사용자가 에이전트에게 충분한 정보를 제공하지 않아 에러가 발생한 경우이다. 이 경우 에이전트의 특성상 사용자와 소통하며 에러를 해결할 수 있다.

두번째는 Docs Error이다. 결과를 확인했을 때 극소수의 경우에 불과했지만 에러가 발생했을 때 사용자와 에이전트의 소통으로 디버깅할 수 없고 같은 에러가 계속해서 반복될 수 있기 때문에 해당 에러를 발생시킨 문서를 확인해야 한다.

마지막으로 Hallucination Error이다. 이 경우는 few-shots를 추가하여 어느정도 해결이 가능한데, 모든 command에 few-shots를 추가하게 되면 prompt가 지나치게 길어질 우려가 있으므로 실행하는 명령어 별로 few-shots를 추가한 뒤 해당 명령어에 맞는 few-shots를 가져와 프롬프트에 추가하는 방법이 해결책이 될 수 있다.

시간이 부족하여 결과 분석 이후의 작업들은 미래에 해결해야 하는 업무로 남게 되었다.

## 마치며

원래 나의 인턴십은 2개월짜리 프로그램이었다. 하지만 중간에 인턴십을 연장하여 총 6개월이라는 시간 동안 래블업에서 함께할 수 있었다. 돌이켜보니, '래블업에서의 2개월은 짧았을 수 있었겠다'라는 생각이 든다. 실제로 근무해보니 래블업은 재택근무가 자유로운 분위기라 2개월 동안 모든 구성원을 만나기도 쉽지 않았고, Backend.AI의 기술적인 깊이가 얕지도 않았기 때문에 6개월 동안 인턴을 할 수 있었다는 것이 행운이었다는 생각이 든다. 2개월이라는 기간은 생각보다 짧아서 Backend.AI에 기여하지도 못하고 공부만 하다가 나갈 수도 있는 시간이었을 것이다.

래블업은 질문에 관대한 회사다. 모르는 점을 채널에 남기면 언제든 누구든 답변해준다. 모르는 점, 잘못된 점을 혼자 오랫동안 고민하게 놔두지 않는다. 이런 점을 잘 알고 활용한다면 래블업에서의 2개월은 성장하기에 충분한 시간이 될 것이다.

 ![](https://cdn.lablup.com/_5f63ce07ce.png) 
 ![](https://cdn.lablup.com/_34f96619ed.png) 

래블업에 반년이나 있었던 만큼, 업무 이외의 다양한 경험들도 할 수 있었다. 파이콘, 래블업 컨퍼런스 등 다양한 행사에도 함께 참여했다. 특히 래블업 컨퍼런스에서는 인턴임에도 발표할 수 있는 좋은 기회를 얻어 컨퍼런스에서 발표를 해보기도 했다. 끝나고 보니 아쉬운 점이 너무 많았지만, 개인적으로 정말 좋은 경험이었다고 생각한다.

래블업은 독특한 사람이 많은 회사다. 개개인의 캐릭터가 너무나 뚜렷해서 퇴사하는 날까지 나는 내가 제일 평범한 사람이라 생각했다. 하지만 그만큼 개개인의 장점이 뚜렷하고 좋은 사람도 많은 곳이었다. 많이 질문하고, 많은 얘기를 듣고, 많은 도움을 받고, 많이 웃기도 했다. 그래서 그런지 남들 다 힘들다고 하는 출근이 힘들지 않고 재미있었다. 모든 구성원에게 일일이 감사 인사를 드리지는 못했지만, 이 글을 통해서나마 감사한 마음을 전하고 싶다.

래블업에서 머물렀던 시간은 단순히 업무적인 성장 뿐만이 아니라, 사람들과의 교류와 새로운 경험을 통해 개인적으로도 매우 의미있는 시간이었다. 앞으로도 이곳에서 배운 가치들을 기억하며 더 나은 모습으로 성장해 나가고 싶다.

도메인 적응형 언어 모델 개발과 CLI 자동화를 위한 LLM 에이전트 평가를 맡았던 래블업 2024 하반기 인턴십 후기입니다. 파이콘과 래블업 컨퍼런스 발표까지 이어진 6개월을 돌아봅니다.

래블업에서의 2024 하반기 인턴 후기

김병조

오픈소스 컨트리뷰션 아카데미를 거쳐 래블업에서 16주간 일하며 Backend.AI WebUI 이슈를 해결하고 리팩토링한 2023년 겨울 인턴십 후기입니다.

래블업에서의 2023 겨울 인턴십 후기

박동진

# 개요

과기특성화대학 공동운영 산학협력(CUop)에 지원하여 래블업 주식회사(이하 래블업)에서 8주간 인턴으로 근무했다.

온보딩, Backend.AI 개발, PyCon 참가를 통해 경험한 것들을 작성했다.

# 지원 동기

우연히 보게된 PyCon 발표 세션을 통해 래블업에 대해 처음 알게 되었다. 기술적으로 깊이 있고 열정이 있는 구성원이 많은 회사라는 것을 알 수 있었다. 나는 Python과 비동기 프로그래밍에 관심이 많았기 때문에 래블업을 지원했다.

# 온보딩

첫 2주동안 온보딩 과정을 진행했다.

Realtime Web Chat 구현, Backend.AI 개발 환경 구축, 코드 베이스 세미나 순서로 진행했다.

## Realtime Web Chat

Python asyncio에 친숙해지기 위한 과제이다. 실시간 채팅 앱을 비동기 웹 프레임워크인 aiohttp와 인메모리 데이터베이스인 redis를 이용해서 개발했다. 그리고 python과 redis를 한 번에 빌드하기 위한 docker compose를 설정하는 것도 과제에 포함되었다. 자세한 내용은 [Github Readme](https://github.com/pderer/webchat)를 참고하면 된다.

redis를 통해 메시지를 broadcast 하기 위해 Redis pub/sub을 이용했다. pub/sub은 메시지를 저장하지 않고 그대로 전달하는 플랫폼 역할을 한다. 메시지를 따로 저장하는 요구사항이 없었으므로 Redis pub/sub을 이용했다. 또한, Redis pub/sub 과정을 asyncio.create_task()를 통해 task로 등록하여 event loop에 의해 동작하도록 했다.
![Realtime Web Chat 실행 화면](https://cdn.lablup.com/Realtime_webchat_0f87103fe6.png) 
Realtime Web Chat 실행 화면

asyncio의 기본 동작에 대해 이해할 수 있었다. 어려운 부분은 질문하며 해결할 수 있었다. 래블업에서는 Microsoft Teams를 통해 자유롭게 질의응답을 할 수 있어 인턴 및 주니어 개발자가 성장할 수 있는 환경을 갖추었다고 생각한다.

## Backend.AI 개발 환경 구축

Backend.AI를 VM Farm 및 로컬 VM에 설치하여 직접 실행해보았다. 공식 문서를 읽으며 진행했는데 그 과정이 순탄치 않았다. 다양한 에러를 마주 했는데 인턴 동기들과 공유도 하고 Teams에 질문도 하며 해결했다.

> 💡 VM Farm은 가상 머신(Virtual Machine)을 관리하고 실행하는 환경을 뜻한다. 래블업은 독자적인 VM Farm을 가지고 있다.

그동안은 로컬에서만 개발을 했었는데 VM Farm과 VSCode를 SSH로 연결하여 개발하는 경험을 처음 해보았다. Backend.AI를 개발하기 위해서는 여러 프로세스들 (Manager, Agent, Storage proxy, Web server 등)과 Docker Container들을 실행해야 한다. 랩탑을 사용할 경우, 배터리에 부담이 가는 수준이다. 하지만 VM Farm을 사용하면 SSH 연결만 하면 되기 때문에 가볍게 Backend.AI를 개발할 수 있다. 실제로 회사 밖에서 랩탑을 충전할 수 없던 상황에서 VM Farm을 사용하여 오랫동안 개발할 수 있었다.

## 코드 베이스 세미나

Backend.AI에서 어려운 부분을 중심으로 코드를 본 후, 이해한 내용을 바탕으로 발표하는 세미나를 준비하게 되었다. Manager, Agent, GraphQL 중에서 나는 Manager 파트 발표를 맡았다.

Backend.AI는 오픈소스이기 때문에 공식 문서가 잘 쓰여 있다. 공식 문서를 보면서 전체적인 구조를 파악하고 궁금한 부분은 직접 사원분들에게 여쭤보면서 Backend.AI 아키텍처 공부를 진행했다. Backend.AI Manager의 Session / Kernel 생성, 스케줄링 제어가 발표 주제였기 때문에 Manager 코드를 보면서 manager process의 로그를 분석하는 방식으로 공부를 진행했다.
 ![세미나 발표를 준비하며 그렸던 시퀀스 다이어그램](https://cdn.lablup.com/Sequence_Diagram_27d4a0128e.png) 
세미나 발표를 준비하며 그렸던 시퀀스 다이어그램

로그를 분석하며 Session 상태가 Preparing에서 다시 Pulling으로 돌아가는 버그를 발견했다. 로그를 하나씩 분석한 보람(?)을 느꼈다. 비동기 코드 베이스라 로그를 순서대로 분석하는게 어려웠다. 하지만 Call graph와 시퀀스 다이어그램을 그리는 것이 큰 도움이 되었다.

# Backend.AI 개발

온보딩이 끝나고 Backend.AI 개발을 시작했다. GitHub Issue를 보고 자발적으로 지원하거나 이슈를 직접 발견해 해결하는 방식으로 진행했다.

[Backend.AI repository](https://github.com/lablup/backend.ai/pulls?q=is%3Apr+is%3Aclosed+author%3Apderer) 에서 9개의 Pull Request, [Backend.AI-WebUI repository](https://github.com/lablup/backend.ai-webui/pulls?q=is%3Apr+is%3Aclosed+author%3Apderer) 에서 2개의 Pull Request를 생성했고 모두 Merge 되었다!

나는 우선순위가 높은 이슈 중에서 자신 있는 것들을 골라 해결했다. 두달이라는 짧은 시간동안 최대한 많은 기여를 하고 싶었기 때문이다.

## 첫 PR

https://github.com/lablup/backend.ai/pull/1395

세미나를 준비하면서 찾아낸 버그를 수정하는 PR을 생성했다. API Parameter를 수정하면 되는 쉬운 PR 이었다. 하지만 branch name convention, commit convention, news fragment에 대해서 알 수 있었다. 그리고 GitHub Actions에 의한 CI (Countinuous Integration, 지속적 통합) 과정을 경험하고 Git 관련 여러 삽질도 미리 할 수 있었던 좋은 경험이었다.

> 💡 news fragment는 PR에 의해 생성된 브랜치가 무엇을 하려는 브랜치인지 한 문장으로 설명하는 Markdown이다. 미래에 다시 이 PR을 봤을 때, 무엇을 하려 했던 PR이었는지 알 수 있도록 간단명료하게 작성해야 한다.

## vfolder 관련 PRs

Teams에 인턴에게 줄 만한 이슈가 있다는 소식을 듣고 바로 지원했다. vfolder라는 새로운 개념을 공부해야 했지만, 이렇게 제품에 대해 이해해 나간다는 것이 중요할 것 같았다.

### PR (1)

https://github.com/lablup/backend.ai/pull/1397

project type vfolder는 admin만이 생성할 수 있다. keypair resource policy의 max_vfolder_count에 상관없이 vfolder를 생성할 수 있어야 하는데 user type vfolder가 max_vfolder_count를 넘어설 경우, project type vfolder를 생성할 수 없는 이슈였다. 처음에는 용어부터 헷갈렸지만 코드를 분석하고 질문도 하며 용어를 해석할 수 있었다.

### PR (2)

https://github.com/lablup/backend.ai/pull/1400

PR (1)을 해결하며 발견한 새로운 버그들을 해결했다.

### PR (3)

https://github.com/lablup/backend.ai/pull/1417

PR (1) 이슈와 연관된 이슈를 발견했다. DB migration과 GraphQL이라는 새로운 개념이 등장했지만 해보고 싶었던 것들이라 지원했다. [Alembic](https://alembic.sqlalchemy.org/en/latest/)이라는 DB migration 툴을 이용했다. 그리고 GraphQL 스키마 개념을 공부하고 하위 호환성을 지원하기 위해 query와 mutation 코드를 수정했다. 수정한 코드를 테스트하기 위해서 cURL을 사용하려 했지만 GraphQL은 REST API 보다 훨씬 긴 request 형태를 가지고 있어서 번거로웠다. GraphQL을 잘 알고 있는 인턴과 사원분에게 질문하며 test code를 작성했다. CLI 형태로 간편하게 수정한 query와 mutation을 테스트하는 python code를 작성하여 테스트를 편하게 할 수 있었다.

## WSProxy 관련 PRs

Teams에 이슈가 올라와 지원하였다. WebUI에서 resource group의 wsproxy 주소가 유효하지 않은 경우, 세션 삭제가 불가능한 버그가 있었다. WebUI 개발도 경험해보고 싶어 지원했다.

### PR (1)

https://github.com/lablup/backend.ai/pull/1423

이슈를 해결하기 위해 WebUI 코드를 읽어봤는데 wsproxy의 개념이 잘 잡히지 않았다. wsproxy에는 v1과 v2가 있다는 것을 알았는데 둘의 차이를 알기 쉽지 않아서 사원분들에게 질문했다. v1과 v2의 가장 큰 차이는 트래픽의 경로였다. v1은 manager를 거쳐서 컨테이너와 통신하는 반면, v2는 manager를 거치지 않고 바로 컨테이너와 통신할 수 있어 더 빠르다. wsproxy가 어떤 역할과 v1, v2의 차이를 알고 나니 코드가 어떻게 동작하는지 더 수월하게 알 수 있었다. 그리고 생각보다 많은 사원분이 차이를 잘 모르는 것을 알게 되었다. 쉬워 보이는 질문이 조직 안에서 나오지 않은 질문일 수도 있음을 깨달았다.

### PR (2)

https://github.com/lablup/backend.ai-webui/pull/1819

이슈를 해결하기 위해서 webui 코드도 수정했다. JavaScript 코드를 수정하기 위해서 Callback 함수, Promise 객체, async/await에 관해 공부했다. 다른 로직에 영향이 가지 않도록 에러 핸들링을 했고, 중복된 코드는 함수로 따로 정의 하여 코드의 중복을 없앴다.

### PR (3)

https://github.com/lablup/backend.ai-webui/pull/1833

그런데 WebUI는 Backend.AI 22.09와 하위 호환성을 유지해야 하므로 HTTP Status 404도 처리해야 한다는 CEO님의 리뷰가 있어 404와 500을 모두 처리하도록 했다.

### PR (4)

https://github.com/lablup/backend.ai/pull/1466

그런데 코드가 병합된 후에 버그가 발생했다. v1 wsproxy 설정 시, wsproxy-version에 대한 리턴값이 사라지는 버그였는데 내가 core 코드를 수정하다가 모든 분기에 대해 처리하지 못해서 생긴 버그였다. 급하게 코드를 수정했지만 간단한 실수라서 아쉬웠다. 이런 실수를 방지하기 위해 테스트 코드를 작성해야겠다는 생각이 들었다.

## Manager 관련 PR

https://github.com/lablup/backend.ai/pull/1444

세미나를 준비하며 공부했던 manager에 대한 이슈가 생겼다. 인턴 기간이 얼마 남지 않은 상황에서 내가 가장 잘 알고 있는 코드에 대한 이슈를 해결하는 것이 기여할 수 있는 방법이라 생각했다.

이 PR은 코드 리뷰에 의해 많은 수정이 있었다. 처음에는 scheduler health check와 scheduler trigger를 동일한 API로 설계했었다. 코드 리뷰를 받은 후에, 두 기능을 다른 API로 나누어 책임을 분리했다. 그리고 원래는 schedule 함수에 관해서만 상태 정보를 저장했었는데 prepare 함수와 scale_services 함수에 대해서도 상태 정보를 저장했다. 왜냐하면 scheduler의 글로벌 타이머에 따라서 주기적으로 실행되는 세 개의 함수에 대해 상태 정보를 저장한 후에 trigger API를 만들어야 scheduler의 상태를 완전히 파악할 수 있기 때문이다. 또한, Manager 프로세스가 여러 개일수도 있기 때문에 Manager ID에 따라 scheduler의 상태를 저장할 수 있도록 설계를 바꿨다.

scheduler의 저장소에 대해서도 코드 리뷰가 진행되었다. 처음에는 기존 manager 상태 API에서 manager 상태를 etcd에 저장하는 코드를 보고 동일하게 scheduler의 상태를 etcd에 저장했다. etcd는 일관성을 유지해야 하는 설정 정보를 저장하는 데 유리하지만, write 속도가 느리다. redis는 휘발성이 있는 데이터베이스이지만 read/write가 많아도 성능이 좋다. scheduler 상태를 주기적으로 read/write 하고 일관성을 유지해야 하는 정보는 아니기 때문에 redis에 저장하는 것으로 변경했다.

## Agent 관련 PR

https://github.com/lablup/backend.ai/pull/1472

Backend.AI의 Manager 부분을 어느 정도 이해했기 때문에 또 다른 중요한 컴포넌트인 Agent를 이해하고 싶었다. 마침 Agent에 대한 이슈가 생겨서 살펴보았다.

Backend.AI가 실행되는 동안 Agent의 내부 상태와 실제로 동작하는 컨테이너의 상태가 일치하지 않는 버그가 발생했다. 이에 따라 세션을 생성할 때, 실제로는 충분한 자원이 있음에도 불구하고 자원 할당 과정에서 InsufficientResource Error가 발생했다. 에러가 발생했을 때, 자원 할당 과정에서 무엇이 잘못되었는지를 알기 위해서 로깅을 개선할 필요가 있었다.

자원 할당 과정을 파악하는 것에 시간이 오래 걸렸다. 동시성 문제가 어려워서 CTO님과 많은 질의응답을 통해 대략적인 흐름을 파악하고 무엇을 로깅해야 하는지 알 수 있었다.

인턴이 끝나고 몆 주후, CTO님이 10개가 넘는 커밋을 통해 리팩터링과 테스트 코드까지 추가하시고 병합하셨다. 인상 깊었던 것은 에러를 재현하기 위해 테스트 코드를 작성하신 것이었다. 나는 에러를 재현하기 위한 복잡한 과정을 (PR 참고) 직접 수행했다. 그래서 개발 시간이 오래 걸리기도 했다. 이런 부분에서 생산성의 차이가 나타난다는 것을 알 수 있었다. 물론 테스트 코드를 작성할 생각은 했었지만, 구현이 너무 복잡할거라 생각했고 테스트 코드를 작성하느라 인턴이 끝날 것 같다고 생각했었다. 앞으로는 테스트 코드 작성에 너무 겁먹지 않고 일단 해보면서 배워야 겠다고 생각했다. 그리고 리팩터링은 코드 가독성을 중점으로 진행하신 것 같았다. 내가 수정한 부분의 함수가 너무 길어져서 가독성이 좋지 않았는데 리팩터링 후에는 함수가 짧아지고 로깅도 깔끔해져서 가독성이 좋았다. 구현하는데에서 멈추지 않고 좋은 코드를 만들기 위해 노력해야겠다는 생각을 했다.

# PyCon 참가

8월 12, 13일에 래블업이 PyCon에 부스를 열었다. PyCon에 후원하는 회사는 부스 활동을 할 기회가 주어진다. 나는 인턴이었지만 부스활동에 참여 하고 발표 세션도 듣고 싶었다. 마침 회사에 PyCon 표가 남았다고 해서 참여할 수 있었다.

래블업 부스에서는 Llama2에게 10줄짜리 피라미드를 프롬프트를 통해 출력하도록 만드는 이벤트를 진행했다. 난이도가 그렇게 쉬운 편은 아니었고, Llama2가 잘 알아들을 수 있도록 풀어서 설명하는 것이 중요했다. 정답을 제출한 분 중 두 명을 추첨하여 닌텐도 스위치, 로지텍 마우스를 증정했다. 나는 부스에서 PyCon 참여자들이 이벤트에 참여할 수 있도록 안내하는 역할을 했다. 그리고 PyCon에 사원분들이 많이 오셨기 때문에 내가 듣고 싶은 발표 세션이 있으면 자유롭게 들을 수 있었다. 래블업은 오픈소스 기반 회사라 오픈소스에 기여하고 컨퍼런스에 참여하는 것을 독려한다. 실제로 PyCon에 참여한 발표자가 총 4명일 정도로 컨퍼런스에 참가하는 것을 중요하게 생각한다.

 ![래블업 주식회사 부스](https://cdn.lablup.com/pycon23_booth_6059bf7e37.jpeg) 
래블업 주식회사 부스

RustPython 세션 발표 중에 python lint 툴인 flake8과 isort를 대체할 수 있는 ruff라는 툴이 소개되었다. ruff는 Rust로 구성되어 있어 flake8에 비해 100배가 더 빠르다. Backend.AI에서는 flake8, isort를 통해 lint를 했었는데 CTO분이 ruff를 검토해 보시고는 코엑스 계단에서 바로 Backend.AI 프로젝트에 ruff를 도입하시는 것을 지켜보았다. 짧은 시간 내에 프로젝트에 새로운 툴을 적용하고 공식 문서까지 수정하는 것을 보면서 코딩에 관련된 프로세스에 정말 능숙하다고 생각했다. 나도 언젠가는 능숙한 개발자가 되고 싶다고 생각했다. PyCon이 끝나고 업데이트된 공식 문서를 보며 ruff를 Backend.AI 개발환경에 적용하고 lint가 100배 빨리 되는 것을 직접 체험했다. PyCon에 참여하지 않았다면 좋은 툴을 빨리 사용하지 못했을 것이다. 앞으로도 개발자 컨퍼런스에 계속 참여하고 싶다.
![래블업 주식회사 구성원분들과 단체 사진](https://cdn.lablup.com/pycon23_all_dee19bbc26.jpeg) 
래블업 주식회사 구성원분들과 단체 사진

# 인턴십을 마치며

인턴십을 하며 최대한 많은 경험을 하려고 애썼다. 그리고 많은 기여를 하고 싶었다. 결론적으로, 많은 기여를 하기 위해 노력했기 때문에 많은 것을 경험할 수 있었다. Teams에서 언급되는 이슈에 빠르게 자원했다. 그래서 vfolder, wsproxy, web-ui, manager, agent라는 Backend.AI의 핵심 컴포넌트들을 이해할 수 있었다. 그리고 DB Migration, GraphQL, etcd 등의 새로운 개념들도 학습할 수 있었다. 주말 아침부터 저녁까지 컨퍼런스에 참여하는 것이 체력적으로 조금은 힘들었지만, 10개가 넘는 발표 세션을 자유롭게 들으며 영감을 얻고 부스 활동을 통해 다양한 사람들을 만나는 것도 재미있었다.

인턴십 동안 모르는 것을 적극적으로 질문했던 것 같다. 그 덕분에 이슈를 빠르게 해결할 수 있었다고 생각한다. 질문을 많이할 수 있었던 이유는 수평적인 래블업의 문화가 있었기 때문이라고 생각한다. 그리고 질문에 친절히 답변해주시는 분들이 많아서 활발하게 질문을 할 수 있었다. 이 자리를 빌어 도움을 주신 구성원분들에게 감사를 표하고 싶다.

내가 원했던 비동기 프로그래밍 경험을 포함해 GitHub 협업 방식, 영어 세미나 발표, 컨퍼런스 참가 등 다양한 것을 경험할 수 있었다. 이를 통해 개발자로서 큰 성장을 한 것 같다. 성장에 목마른 사람들에게 래블업 인턴십을 추천한다.

과기특성화대학 산학협력(CUop)으로 래블업에서 8주간 일한 2023년 여름 인턴십 후기입니다. asyncio 기반 온보딩 과제부터 Backend.AI 개발과 파이콘 참가까지 돌아봅니다.

래블업에서의 2023년 여름 인턴십 후기

구성현

## Introduction

- 나는 2022 오픈소스 컨트리뷰션 아카데미(이하 OSSCA)를 통해 처음 Backend.AI를 접하고 다루게 되었다. 프로그램 진행 이후 좀 더 제대로 프로젝트에 참여해보고 싶었고, 그렇게 나는 OSSCA 기업 연계 인턴십을 지원하여 Lablup에서 약 2달간 인턴십을 진행하였다. 그 과정에서, 이런 큰 프로젝트에 막 발 담근 초심자가 코드에 기여하기란 그리 쉽지만은 않았다. 그런데도 조금씩 해낼 수 있었던 기여 경험과 그것을 통해 얻었던 것들에 관해 얘기해보려 한다.

 ![](https://cdn.lablup.com/1_49_03_1cf8db58252465642b5fba56ec915f5d_b4077d073c.png)

### Technical Challenges
#### On-boarding
프로젝트에 기여하기 위한 과정에서의 첫 번째 난관이 있었다. 나는 OSSCA기간 동안 Backend.AI팀에서 멘토링 프로그램을 진행했기 때문에, 나름 어느 정도 구조 파악은 된 채로 인턴십을 할 수 있겠다고 생각했다. 하지만, 여태 본 것들은 정말 일부 중의 일부라고 여겨질 정도로 새로 알아가야 할 것들이 많았다. 각각의 컴포넌트가 하는 역할은 이해하고 있었지만, 그 내부에 활용된 기술 스택들이 다양했기에 코드를 읽기도 그리 쉽지만은 않았다. 그렇게 여겨질 때쯤, 온보딩의 일환으로 한가지 과제를 받게 되었는데, 바로 비동기 웹 채팅 프로그램을 작성하는 것이었다. 그리하여 python asyncio, aiohttp, redis 등등 몇 가지 도구를 활용해 약 일주일간의 기간 과제를 진행하였는데, 그 과정에서 프로젝트에 사용된 툴들을 활용하려 노력하다 보니 자연스레 그것에 대한 이해가 조금씩 생기게 되었다. 그렇게 과제를 통해 얻을 것을 바탕으로 코드를 보고서 이 코드가 어떤 역할을 하는지 베이스 코드를 어느 정도 읽을 수 있게 되었다.


<figure>
  <img src="https://cdn.lablup.com/1_090323f7f3ea330cda4718b950188559_e3464cc987.jpg" alt="Development environment setting">
  <figcaption>Development environment setting</figcaption>
</figure>

두 번째 난관은 환경 세팅이었다. OSSCA때도 겪었던 것이었지만, 인턴십 중에도 자연스레 직면하게 되었는데 아무래도 코드 기여를 위해서는 안정된 버전이 아닌, 항상 최신 버전을 업데이트해서 작업을 진행하게 되기 때문에 한번 환경을 제대로 세팅한다고 해도 업데이트 때 새로운 에러를 직면하게 되기도 한다. 하지만 조금 발전하게 된 부분이 있었다. 인턴십 이전에는 에러가 발생해도 언제 어디서 터진 건지 파악이 어려웠다면, 이제는 어느 정도 사용된 라이브러리, 도구, 기술 스택이 어떤 것인지 알게 된 이후였기 때문에 어떤 컴포넌트에서 어떤 역할을 하는 부분이 제 기능을 못 하고 있는지 혹은 어떤 곳에서 충돌이 발생했는지 알 수 있게 되었다. 비유하자면 이전에는 엉킨 실타래를 풀기 위해 무엇을 해야 할지 몰랐다면, 이제는 엉킨 실타래의 시작 부분을 찾아내어 조금씩 조금씩 실타래를 푸는 방법을 터득한 느낌이었다.

 ![](https://cdn.lablup.com/Untitled_73d5277b5637793ce6f5504fa2df9efa_aa81b1fea1.png) 

### Task
#### Good first issue.   
온보딩 기간이 지난 후에, 흔히들 good first issue라고 하는 간단하거나 신경 쓸 것이 많지 않은 이슈를 세 개 정도 할당받게 되었다. 그중 하나가, agent에 구현되어있는 ‘플러그인을 선택적으로 로드하는 기능’을 manager 쪽에도 똑같이 구현하는 것이었다. 그래서 차근차근 뜯어보기 시작했다. toml 형식으로 된 configuration 파일이 무엇을 전달할 수 있는지, 어느 지점에서 메모리에 올라가는지, 타입 체크는 어디서 하게 되는지를 살펴보았고. 또 어떠한 로직으로 플러그인이 로드되고 블록 되는지 이전에 다른 분들이 작성해놓으신 이슈와 코드를 참고해서, manager 측에 어떻게 적용하면 될지를 고민하여 조금씩 코드를 작성해 나갔었다. 아무래도 Backend.AI는 사용되고 있는 실제 제품이기 때문에 처음엔 한줄 한줄 작성할 때도, 상당히 조심스러웠고 내가 작성한 코드보다 조금 더 나은 코드가 있진 않을까 혹은 가독성이 떨어져서 다른 분들이 읽기에 어렵진 않을까 조심스러운 마음이 많이 들었었다. 그렇지만 이 이슈를 진행하며 몇백 줄이 넘는 코드 속에 직접 작성한 코드도 끼워 넣어보고, 리뷰어님 께서 코드 리뷰를 해주신 것을 바탕으로 코드를 수정 및 개선해 보기도 하면서 merge 되는 과정까지 쭈욱 거쳐 보니 그런 과정이 좀 더 자연스럽게 느껴지게 되었다.

 ![](https://cdn.lablup.com/12_56_48_52b90d30e660087bca2ced52717fd10c_4eee1be16b.png) 

### Monitoring
그렇게 good first issue를 끝내고 나서, 새롭게 무엇을 개선할 수 있을까 찾아보던 와중에 모니터링 관련한 인프라를 개선하는 이슈를 보고서 흥미를 느껴 주제를 잡게 되었다. 내가 인턴십을 하기 전에는 현업에서의 일을 상상해 보았을 때, 엄청나고 복잡한 코드를 뚝딱 작성해내는 장면을 떠올리곤 했는데, 실제로는 기존 코드의 문맥을 읽기 위해 코드를 뜯어보거나 혹은 해당하는 부분에 사용된 기술적인 부분을 이해하기 위해 자료를 조사해보고 공부하는 과정에 상당한 시간이 소모된다는 것이었다. 나도 새롭게 정한 이슈를 위해서 모니터링 인프라에 대한 조사와 기존 코드를 읽는 데에 꽤 많은 시간이 소모되었다. 그러한 과정을 거친 후, 프로세스의 자원 사용량을 모니터링 하기위해서 cgroup 혹은 docker API를 활용해 컨테이너 내부에서 돌아가고 있는 프로세스 리스트를 얻고 그것과 서드파티 모듈을 이용해 CPU, memory 등등의 자원 사용량 측정 메트릭을 수집하는 agent backend코드를 작성했다. 예상했던 것보다 코드의 양도 많아지고 작성할 로직도 많아져 기존 인프라와 잘 융합되도록 하기 위해 고민을 거듭했고, 그 이후 받은 리뷰를 바탕으로 수정을 진행하기도 하였다. 그 과정에서 프로그램 모니터링에 관심이 깊어져서 이후에는 이슈로 발행되어 있지 않은 주제였던, agent에서 쿠버네티스 노드의 자원 사용량을 모니터링하는 코드를 만들어 PR을 보내기도 했다.
    
 ![](https://cdn.lablup.com/02_bf763fba7fd3799208ef693c6caf941d_215a4c584b.jpg) 

## Conclusion

- 그렇게 인턴십을 진행하고 직접 일을 해보면서 얻은 간단하고도 궁극적인 한 가지 인사이트는 ‘아! 결국 좋은 코드는 혼자 끙끙대며 작성하는 게 아니구나!’라는 것이었다. 아무리 고민을 많이 하거나 조사를 많이 하더라도 결국 한 사람이 작성하는 코드는 그 사람의 관점과 시야 내에 머물게 된다. 하물며 정말 대단한 천재가 작성한 프로그램이라도 오타 한 줄은 존재하기 마련이다. 다른 동료들과 소통하고 의견을 나누면서 부족했던 부분을 채우고 개선해나가는 과정이 필요하다. 가독성이 좋은 코드가 강조되는 이유가 여기에 있다고 본다. 나도, 남들도 꾸준히 프로그램을 발전시킬 수 있도록 읽기 쉬운 코드를 작성하는 것 그리고 조금은 부끄러운 날 것의 아이디어 혹은 코드이더라도 다른 동료들에게 도움을 구하고 함께 고민해서 만들어낸 결과물이 조금이라도 더 낫다는 것.
- 처음 직장을 다녀본 나로서도 래블업은 놀라울 정도로 수평적이고 구성원 간에 소통이 자유로운 곳이었다. 매일 이루어지는 전체 미팅을 통해 회사의 사업 진행 과정을 모두가 알 수도 있었고, 어떤 문제가 발생했을 때는 메신저를 통해 직책에 상관없이 사람들이 서로 도움을 주기도 하고 새로운 의견을 내어 문제를 개선하기도 했었다. 그런 곳에서 두 달간 함께 하며 프로젝트에 참여할 수 있었던 것은 매우 소중하고 값진 경험이었다고 생각한다.

협업으로 좋은 코드가 만들어진다는 걸 배운 래블업 2022년 가을 인턴십 후기입니다. 실무 과제를 풀며 팀과 함께 성장한 과정을 돌아봅니다.

래블업에서의 2022 가을 인턴십 후기

강시온

## 서론
내가 처음 이 회사를 알게 된 건 2019년 여름이었다. 당시 GDG Seoul '모두의 Toy Story'라는 행사에서 지인이 발표를 한다고 해서 행사를 참관했는데, 그 자리에서 래블업의 '머신러닝에 활용하는 GPU 가상화 도구'를 주제로 한 세션을 듣고 굉장한 흥미를 느꼈다. 이 때는 내가 한창 머신러닝에 관심을 가지던 시기였는데, 래블업의 발표는 기술적으로 깊이가 있었고, 이런 일을 하는 회사도 있구나 하며 이 회사에 대해 처음으로 알게 되었다.

 ![](https://cdn.lablup.com/202424596_37015a5e_8c90_4de4_af98_d9bb60047361_1389ca8bcb.png) 

그 후, 다시 한번 이 회사와 연이 닿게 되었는데, 42 Seoul에서 진행한 오픈소스 해커톤에서였다. 특정 오픈소스를 활용한 제품을 단기간에 만드는 대회였는데, 이때 나는 Backend.AI 팀에 참여하게 되었다. 이 때는 앞서 언급한 GDG Seoul에서의 발표 이후 3년이 지난 시점이었지만, 그 때의 발표가 매우 인상깊었기 때문에 이름을 보자마자 곧바로 회사를 떠올릴 수 있었다. 대회를 진행하는 동안 정규님의 멘토링을 통해 많은 도움을 받았고, 덕분에 대회에서 2위를 수상하는 쾌거를 이루었다.

2022년 5월, 나는 쎄트랙아이라는 회사에서 학교 연계 인턴십을 진행하고 있었다. 인턴십 종료 이후 어떤 일을 해야 할까 알아보던 중, 페이스북에서 래블업의 여름 인턴십 공고를 보게 되었다. 대회를 진행하며 정규님에게 받은 멘토링이 큰 도움이 되었기에 좋은 기억이 있었고, 개발자 커뮤니티와 오픈소스에도 지대한 관심을 가지고 있었기에 나의 다음 목적지를 래블업으로 정하게 되었다.

그 무렵, 나는 42 world라는 프로젝트를 진행하고 있었는데, 이 시기가 내가 많은 것들을 배우고 성장할 수 있었던 시기라고 생각한다. 래블업의 면접을 보며 내가 진행하던 42 world 프로젝트를 소상히 설명할 기회가 있었고, 프로젝트에 모노레포를 적용하며 어려웠던 경험을 나누자 래블업도 Backend.AI에 모노레포를 적용하며 어려움을 겪었다는 이야기를 해주어 면접 동안 개발자끼리의 소소한 공감을 주고받을 수 있었다.

그렇게 래블업 인턴십에 합격한 후, 총 4분의 다른 인턴분들과 인턴십 생활을 시작하게 되었다. 나는 기존의 인턴십을 마무리하고 이사할 기간을 가지기 위해 다른 분들보다 일주일 정도 늦게 회사에 입사하게 된 케이스다. 일주일 동안은 Backend.AI를 파악하고 회사에 적응하는 Orientation 주간을 가졌다. 온보딩 문서화가 잘 되어있어 신규 입사자가 쉽게 회사에 적응하기 좋은 환경이 갖추어져 있는 회사라는 생각이 들었다. Orientation 기간 대부분은 Backend.AI를 설치하고 세팅하는데 대부분의 시간을 보낸 것 같다. 나는 다른 인턴분들보다 일주일 정도 늦게 입사한 덕분에 다른 인턴분들에게 도움을 많이 받았고, 상대적으로 수월하게 Orientation 기간을 마무리할 수 있었다.

## 업무 시작
2주 차부터 이제 본격적인 task 들을 할당받아 일하기 시작했다. DevOps, Frontend, Research 팀 중에 본인이 하고 싶은 일을 선택하여 각 챕터 담당자분에게 good-first-issue를 할당받아 시작하였는데, 나는 DevOps 팀을 선택하여 업무를 시작했다. 처음으로 할당받은 이슈는 세션을 실행하고 원하는 코드를 실행하기까지 하는 run 커맨드를 세션을 실행하는 start와 코드를 실행하는 exec 명령어를 조합하여 구현하도록 하여 코드의 중복 구현을 줄이도록 refactoring 하는 작업이었다.

 ![](https://cdn.lablup.com/202433613_91dd0878_8d6d_480a_b0ec_e3f637d7169b_6856417e93.png) 

나에게 할당된 첫 이슈를 진행하며 꽤나 어려움을 겪었는데, 해당 이슈의 구현 난이도와는 상관 없이 Backend.AI의 레포 구조를 이해해야 했기 때문이다. 이슈가 왜 생겼는지 파악하는 것도 중요하지만, 그 전에 Backend.AI가 목표로 하는 것이 무엇인지 정확하게 알고, 이 이슈가 어떤 목적을 달성하기 위해 해결되어야 하는 것인지 이해해야 문제를 정확하게 해결할 수 있다는 사실을 알게 되었다.

첫 번째 이슈를 해결하고 난 후에는 vfolder clone이라는, 당시 개발 중인 기능을 테스트하는 업무를 맡게 되었다. 해당 업무를 하면서 DevOps 업무만을 담당하다가 Frontend 챕터의 프로젝트인 Backend.ai-webui를 처음으로 사용해보게 되었다. vfolder clone 테스트뿐만 아니라 직접 실행하면서 개선할 수 있는 사항이나 버그들을 찾아서 이슈로 등록했는데, 뭔가 다른 팀에 계속 task를 만드는 느낌이라 좀 죄송한 마음도 들었지만, 프론트엔드 챕터에서는 굉장히 좋은 기여라고 독려해 주셨다. 오픈소스는 코드 기여 뿐만 아니라 다른 방면으로도 많이 기여를 할 수 있음을 다시 한번 깨닫게 되었다.

 ![](https://cdn.lablup.com/202441600_3da0d632_abda_4953_ab42_c8c5379dbab2_82a74cd001.png) 

## CI/CD 개선
평소 CI/CD에 관심이 많았던 나는 Backend.AI에서 활용되는 actions에 흥미를 갖고 관심깊게 살펴보았다. 당시 Backend.AI에는 `skip:ci` 태그를 이용하여 CI를 skip 할 수 있는 기능이 있었는데, `skip:ci`나 `skip:changlog` 태그가 PR 생성 당시가 아닌, 나중에 라벨을 다는 경우에는 적용되지 않는다는 것을 알게 되었다. 이를 위해 의미 없는 commit을 추가해야 했고, 외부 기여자의 경우 label에 대한 권한이 없기 때문에 Backend.AI가 오픈소스인 만큼 중요하게 해결되어야 하는 문제라고 생각했다. 그래서 GitHub Actions와 관련된 내용을 조사했고, action trigger에 labeled와 관련된 trigger가 있다는 것을 알게 되어 해당 문제를 해결할 수 있었다. 할당받은 이슈가 아닌 직접 개선할 수 있는 사항을 찾고 개선한 것이라 해당 작업을 회사에서도 매우 좋게 봐주셨다. 해당 문제를 해결하면서 actions에 더 흥미가 생겨 몇 가지 개선사항을 좀 더 제시해보았다. 누락된 assign 들이 꽤 보여 이를 자동화하여 해결하면 실수도 방지하고 assign 하는 귀찮음도 줄일 수 있다고 생각해 기존에 사용해 본 적이 있는 auto-auth-assign action 도입을 제안했다. 그다음으로는 labeling도 자동화를 하면 좋을 것 같았다. 해당 문제도 labeler라는 action이 존재하여 사용해 본 적은 없지만, test repository에서 여러 번 테스트를 거쳐 Backend.AI에 적용했고 모노레포로 합쳐진 여러 시스템을 구분하는 labeling 작업을 자동화할 수 있었다. 이 작업을 하면서 느낀 것은 PR에 연결된 issue에 할당되어있는 label을 그대로 붙여주면 좋을 것 같다는 생각이 들었는데, 해당 기능을 하는 action을 찾을 수가 없었다. 그래서 직접 제작해보기로 결심했고, GitHub API와 action을 학습, auto-label-in-issue라는 actions를 직접 제작하여 배포했다.

## 인턴십을 마치며
이번 인턴십을 통해 많은 것을 느끼고 많은 것을 배워간다. 이번 인턴십이 두 번째 경험이긴 하지만, 이전 회사는 IT 회사가 아니었던 만큼 IT 회사에서의 첫 인턴십 경험이었다. 나에게 래블업의 제품은 오픈소스로 관리되고, 회사 차원에서 커뮤니티에 꾸준히 기여한다는 점이 매력적으로 다가왔다. 회사가 정말 이렇게까지 수평적일 수 있나? 라는 생각이 들 정도로 편안한 분위기에서 자유롭게 의견을 제시할 수 있었다. 강제로 일을 하는 것이 아닌 주도적으로 하고 싶은 일을 할 수 있는 것이 래블업의 가장 큰 장점이라고 생각한다.

이제야 프로젝트에 대해 어느정도 파악 한 느낌인데 인턴십을 종료할 때가 다가와 아쉬움이 컸다. 감사하게도 래블업에서 인턴십을 연장해보지 않겠냐고 먼저 제안을 주셔서 인턴십을 연장, actions 이슈들을 주로 맡아 개발하게 되었다. 최근에 내가 계속 actions를 다루고 있고, 필드에 actions를 다루는 개발자가 많이 없기 때문에 이를 주제로 GDG Daejeon에서 발표도 하게 되었다. 덕분에 주변에서 액션가면이라는 별명으로 불리고 있는 것은 소소한 웃음거리다.

 ![](https://cdn.lablup.com/202441346_27e360f9_6397_4c79_960d_c47732f5d070_ea1a7af4ce.png) 

이후 인턴십에서의 경험을 오픈소스 컨트리뷰션 아카데미에서 나누기도 하고, 이를 바탕으로 컨트리뷰션 아카데미에서 좋은 성적을 거두게 되었는데, 회사에서의 경험이 이를 위한 밑바탕이 되었다고 생각한다.

래블업 2022년 여름 인턴십을 거쳐 정직원으로 합류한 인턴의 후기입니다. 인턴 기간에 맡은 일과 팀에 남기로 결심한 이유를 들려줍니다.

래블업에서의 2022년 여름 인턴십 후기

김유정

## 지원과정

**2021 오픈소스 컨트리뷰션 아카데미**를 통해 래블업 인턴십에 지원할 수 있는 기회를 얻게 되었다.

 ![](https://cdn.lablup.com/2022_02_16_internship_review1_13c0576594.png) 

Backend.AI 는 규모가 크고 어려워서 두 달이라는 시간이 짧게 느껴졌고 더 알아보고 싶다는 생각이 들었다. 부족한 점이 많아서 "내가 할 수 있는 일이 있을까?"라는 걱정이 들었지만, 실무를 경험해볼 좋은 기회라 생각하여 지원하게 되었다. 프로젝트에 참여하는 동안 멘토님들에게 많이 배웠고, 다 좋은 분들이었기 때문에 같이 일해보고 싶기도 했다.

서류 합격 후 처음으로 기술면접을 보게 됐다. 질문이 예상가지 않아 이것저것 봤는데, 오히려 역효과였던 것 같다.. 웹 프론트엔드 개발을 주로 해와서 웹과 프론트엔드 관련 지식을 물어보셨는데, 많이 대답하지는 못했다. 그냥 최선을 다해 답변했다. 다행히 합격했다는 연락이 왔다! 그리고 4일 후에 바로 인턴을 시작하게 되었다. 합격 통보나 면접같은 과정이 빠르게 진행됐다.


## Orientation

래블업에서는 Backend.AI라는 솔루션을 개발&관리하고 있기 때문에, orientation에서는 Backend.AI를 설치하고 이용하는 과제들을 수행했다. 대부분 Backend.AI를 이용해서 머신러닝 모델을 개발하는 과제였다. 머신러닝을 공부해본 적이 없어서 막막했지만, 어떻게든 해냈다. 인턴십을 하면서 "계속 찾아서 하다보면 되는구나"라는 걸 가장 많이 느꼈다. 모르면 질문하고, 에러나면 고치고 하다 보면 어느샌가 완료한 나를 발견할 수 있었다.

Orientation에서 진행했던 task들은 아래와 같이 간단하게 정리해본다.

* Task 1. Change MNIST code to be Fashion MNIST
* Task 2. Increase the accuracy without changing the model
* Task 3. Install Backend.AI
* Task 4. Run code on Backend.AI CLI
* Task 5. Run code on Backend.AI Web UI
* Task 6. Increase the accuracy without changing the data
* Task 7. Increase the accuracy within time limit


개인적으로 2번 task가 가장 어려웠다. 데이터 증강 기법을 이용하여 정확도를 높이려 했지만, 생각대로 되지 않았다. 뒤집은 이미지들을 추가하여 모델을 학습시켰는데, 이상하게 세로로 뒤집은 이미지를 추가하면 정확도가 내려갔다. 가로로 뒤집은 이미지만 추가했을 때 가장 정확도가 높아서 그 방법으로 과제를 제출했다.


## 업무

Backend.AI 는 여러가지 컴포넌트가 상호작용하면서 돌아가도록 구현되어 있다.

manager, agent, webui, common, client-py, kernels, storage-proxy, webserver 총 8개의 컴포넌트가 있다. 인턴십 기간에는 manager, agent, webui, common과 관련된 이슈들을 해결했다. 컴포넌트별로 진행했던 내용을 정리해보려 한다.

### manager

API를 제공하고, 연산자원 모니터링 및 세션 스케줄링을 담당하는 컴포넌트이다. 핵심 서비스라 하는 일도 많고 코드도 많다. manager가 모든 컴포넌트들과 연결이 되어있어서 코드를 이해하는 게 어려웠지만, 전체적인 그림을 보는데 도움이 많이 되었다.

#### 명령어 추가하기 (오래된 기록 삭제, 디스크 공간 확보)

PR(Merged): https://github.com/lablup/backend.ai-manager/pull/498

* 이슈 내용

데이터베이스의 kernels 테이블에는 세션에 대한 정보들이 쌓인다. 이것들을 주기적으로 삭제하고, 디스크 공간을 확보하기 위해 postgreSQL의 vacuum 작업을 수행하여야한다.

→ 위 작업을 쉽게 수행할 수 있도록 `mgr clear-history` 명령어 추가하기

* 진행과정 & 배운점

cli 명령어를 만들기 위해서 Click이라는 파이썬 패키지를 사용했다. 그리고 2가지의 옵션을 추가해서 조금 더 세부적으로 명령을 내릴 수 있도록 했다.
그런데 명령어를 실행했을 때, vacuum 작업을 하는 부분에서 다음과 같은 에러가 떴다.

```VACUUM cannot run inside a transaction block```

stackoverflow와 pretag라는 곳에 나온 답변들을 모두 시도해봤지만, 해결하지 못했다.

결국 공식문서밖에 답이 없었다.  `CREATE DATABASE`나 `VACUUM`과 같은 명령어들을 트랜잭션 안에서 실행이 불가하기 때문에, AUTOCOMMIT 모드로 바꿔주어야한다. 그래서 아래의 방법을 사용하여 해결했다.

`conn.set_isolation_level(ISOLATION_LEVEL_AUTOCOMMIT)`

* 참고 : https://www.psycopg.org/docs/extensions.html#isolation-level-constants


#### 최대 컨테이너 수 조건을 검사하는 부분의 위치를 이동시키기

PR: https://github.com/lablup/backend.ai-manager/pull/504

* 이슈 내용

세션을 생성할 때, 사용자는 세션의 이름, 타입, 자원, 클러스터의 모드, 클러스터의 사이즈와 같은 조건들을 설정할 수 있다. 그리고 이러한 세션 요청이 들어왔을 때 manager는 그 요구들이 적합한지 검사를 수행해야한다.

→ **최대 컨테이너 수를 넘는지 확인하는 검사**의 위치를 적절한 곳으로 이동시키기

* 진행과정 & 배운점

세션이 큐에서 대기하다가 다른 세션 종료 후에 실행 가능 여부가 바뀔 수 있는 조건은 predicates에서 검사를 한다. 몇 초에 한 번씩 검사를 다시 수행하여 실행이 가능해졌는지 확인한다. 하지만 다른 세션의 종료 여부와 상관없이 정책 옵션만으로 실행 가능 여부가 결정된다면, 굳이 큐에서 대기할 필요가 없기 때문에 큐에 넣기 전에 정책 검증을 실행하는 게 좋다.

"사용자가 요청한 컨테이너 수가 최대 컨테이너 수를 넘는지"에 대한 검사 결과는 후자에 해당한다. 따라서 큐에 넣기 전에 검사를 수행할 수 있도록 위치를 이동시켰다.


#### 자원그룹 변경 기능 추가하기

PR: https://github.com/lablup/backend.ai-manager/pull/511

* 이슈 내용

데이터베이스 agents 테이블의 자원그룹을 변경하는 기능을 추가하는 이슈였다.

* 진행과정 & 배운점

GraphQL API를 구현할 수 있는 도구를 제공하는 라이브러리인 Graphene을 사용했다. 자원 그룹 변경 요청에도 응답할 수 있도록 기존의 ModifyAgent mutation에 코드를 추가했다.
하지만 한 가지 문제가 있었다. 3초정도에 한 번씩 자원 그룹의 설정 값을 toml파일에서 읽어와서 db를 업데이트하기 때문에, 아무리 위의 mutation으로 바꾼다고 하더라도 덮어씌워지게 된다. 따라서 Agent의 mutation에서 데이터베이스의 자원그룹 값을 변경하는 것 뿐만 아니라, agent.toml(설정파일)에서도 값도 변경해주어야했다.

→ agent 컴포넌트에 toml 파일의 자원 그룹 값을 변경하는 RPC method를 추가하고, manager에서 그 method를 호출하는 방법으로 진행했다. 이건 아래에서!

가장 마지막에 진행했던 이슈인데, 이 기능을 추가하기 위해서는 webui, manager, agent 컴포넌트를 모두 업데이트해야했다. webui에서는 변경 요청을 보낼 수 있도록 UI요소를 추가해야했고, manager와 agent에서 그 요청을 적절하게 수행할 수 있도록 구현해야했다. webui는 작업하지 못했지만, manager와 agent컴포넌트는 완료하고 PR을 올려놓은 상태이다.(PR이 merge되면 webui도 작업을 해보려한다.)

### Agent

agent 컨테이너들을 관리하는 컴포넌트인데, 작업할 일이 거의 없었다. 거의 끝나갈 무렵 위에서 언급한 대로 기능 추가를 위해 작업을 하게 되었다.

#### 자원그룹 변경 기능 추가하기

PR: https://github.com/lablup/backend.ai-agent/pull/327

* 이슈 내용

toml 설정 파일에서 자원그룹을 변경하는 RPC method를 추가해야했다.
ModifyAgent mutation에서 db를 업데이트하기 전에 이 RPC method를 호출하여 toml의 자원그룹 설정 값을 변경할 것이다.

* 진행과정 & 배운점

tomlkit 라이브러리를 처음 사용해봤다. 사람이 추가한 주석을 그대로 보존하면서 값을 수정할 수 있도록 도와준다. tomlkit에 대한 정보가 많이 없어서 좀 애를 먹었다. 파일 경로를 가지고 파일을 읽어온 후 수정하고 다시 저장까지 해야 하는데, 공식문서에는 String을 TOMLDocument 객체로 만들어주는 parse에 관련된 설명만 있었다. 그런데, parse를 사용하다가 에러가 나서 파일들을 타고 들어가다 보니 tomlkit의 api.py파일을 발견하게 되었다. 그 파일에 정의된 함수들을 보며, 사용법을 익혔다.

그래서 최종적으로 아래와 같이 RPC method를 추가했다.

```
    async def update_scaling_group(self, scaling_group):
        cfg_src_path = config.find_config_file('agent')
        with open(cfg_src_path, 'r') as f:
            data = tomlkit.load(f)
            data['agent']['scaling-group'] = scaling_group
        with open(cfg_src_path, 'w') as f:
            tomlkit.dump(data, f)
        self.local_config['agent']['scaling-group'] = scaling_group
        log.info('rpc::update_scaling_group()')
```

파일을 읽기 권한으로 열고, load하여 data라는 TOMLDocument 객체를 만들었다. 파일을 쓰기 모드로 열어 수정한 data를 저장했다.

읽기('r')와 쓰기('w') 권한을 나누고 싶지는 않았다. 하지만 'r+' 권한으로 시도하면 수정된 데이터로 덮어씌워지는 게 아니라, 원본 아래에 추가가 돼서 내용이 반복됐기 때문에 이 방법밖에 없었다.
이 이슈를 진행하면서 tomlkit에 대해 많이 알게 되었다. 정보가 많이 없어서 이 부분에 대해서는 따로 포스팅을 올리면 좋을 것 같다.

### Common

#### TimeDuration Class 업데이트하기

PR(Merged): https://github.com/lablup/backend.ai-common/pull/99

* 이슈 내용

manager의 명령어 추가하기 PR과 관련된 이슈이다. TimeDuration Class는 두 datetime 객체 간의 차이를 반환한다. `mgr clear-history` 를 위한 함수인 `clear_history()` 에서는 TimeDuration을 이용하여 `expiratation_date`를 계산하고 그 날짜 이전의 데이터들을 삭제한다.
그런데 TimeDuration에서는 years와 months 파라미터가 없다. 그래서 처음에는 아래와 같이 작성했다.

```
        unit = retention[-2:]
        today = datetime.now()
        if unit == 'yr':
            yr = int(retention[:-2])
            expiration_date = today - relativedelta(years=yr)
        elif unit == 'mo':
            mo = int(retention[:-2])
            expiration_date = today - relativedelta(months=mo)
        else:
            duration = TimeDuration()
            expiration_date = today - duration.check_and_return(retention)
```

TimeDuration을 months와 years를 지원한다면 아래와 같이 간결하게 코드를 찔 수 있다.

```
        today = datetime.now()
        duration = TimeDuration()
        expiration = today - duration.check_and_return(retention)
        expiration_date = expiration.strftime('%Y-%m-%d %H:%M:%S')
```

→ months와 years를 지원할 수 있도록 TimeDuration 업데이트하기

* 진행과정 & 배운점

timedelta에는 years와 months argument가 없었다. 그래서 `dateutil.relativedelta.relativedelta`를 사용해야했다. datautil은 datetime 모듈의 확장 패키지이다.

처음에는 return type을 통일하려 했는데, relativedelta는 실수 타입의 인자를 지원하지 않아서 Github Action test를 통과하지 못했다. 그래서 years와 months에만 relativedelta를 이용했다. 그리고 테스트 코드를 처음 작성해봤다.

```
    date = datetime(2020, 2, 29)
    ...
    assert iv.check('1yr') == relativedelta(years=1)
    assert iv.check('1mo') == relativedelta(months=1)
    assert date + iv.check('4yr') == date + relativedelta(years=4)
```

iv는 TimeDuration object이다. '1yr'과 '1mo'를 넣었을 때 원하는 값이 나오는지 확인하는 테스트 코드이다. 윤년일 때도 잘 계산이 되는지 테스트한다.

### Webui

#### 약관/개인정보보호 창 종료 후 다시 열리지 않는 문제 해결하기

PR(Merged): https://github.com/lablup/backend.ai-webui/pull/1160

* 이슈 내용

아래와 같이 약관 또는 개인정보보호방침 창의 x 버튼을 눌러서 닫은 후, 버튼을 누르면 다시 열리지 않았다.

 ![](https://cdn.lablup.com/not_working_after_click_x_button_d9b2dc8e1f.gif) 


창을 닫기 위해 `x`버튼과 `dismiss` 버튼 두 개가 있는데, dismiss를 눌러서 닫은 경우에는 다시 창이 열렸다. 하지만 x버튼의 경우 그렇지 않았다.

→ x버튼을 눌러서 창을 닫더라도 다시 열리도록 수정하기

* 진행과정 & 배운점

Backend.AI webui에서는 웹 컴포넌트를 위한 라이브러리인 lit을 사용한다.

약관/개인정보보호방침 창은 `lablup-terms-of-service` 안에 `backend-ai-dialog` 컴포넌트가 있는 구조였다. dismiss 버튼은 `lablup-terms-of-service` 컴포넌트 안에 존재하고, x 버튼은 `backend-ai-dialog` 안에 존재한다.

→ 조건1. x 버튼을 눌렀을 때는 두 개의 컴포넌트가 모두 닫히도록 동작해야 한다.

창은 show 변수가 false일 때만 열린다.

→ 조건2. 창이 닫힐 때 show 변수가 false로 변경되어야 한다.

`backend-ai-dialog`를 닫을 때 "dialog-closed" customEvent를 발생시켰다. 그리고 그에 대한 EventListener를 `lablup-terms-of-service` 컴포넌트에 추가했다. 그리고 콜백함수에 위의 두 가지 조건들을 만족시킬 수 있도록 코드를 추가했다.


#### 테이블 안의 아이템이 겹치는 문제 해결하기

PR(Merged): https://github.com/lablup/backend.ai-webui/pull/1170

* 이슈 내용

session의 GPU값이 세 자릿수 이상일 때, 아래의 이미지처럼 오른쪽의 mount folder 아이템과 겹치는 문제가 발생했다.

 ![](https://cdn.lablup.com/session_0d92aabac9.png) 


* 진행과정 & 배운점

처음에는 GPU 아이템에 따라 너비가 늘어나게 해서 해결할 생각이었다. 하지만 생각처럼 되지 않는 부분이 있어 조언을 구했다. 문제 해결 방법에 대해 같이 고민해주셨다. 그 대화를 통해 방향성을 잡을 수 있었다. 원래는 빨리 해결하는 것에 집중하다 보니 해결 방법이 생각나면 다른 고민 없이 그 방법으로만 해결하려 했다. 하지만 이 이슈를 진행하면서 사용자의 입장에서 바라보며 더 좋은 방법이 있을지 고민하는 시간을 가지는 게 중요하다는 것을 깨달았다.

 결과적으로 아래와 같이 아이템의 배치를 변경하여 문제를 해결하였다. 관련성이 있는 요소들을 묶어서 배치했다.

  ![](https://cdn.lablup.com/batch_08dc526763.png) 


## 기업 문화

한 마디로 정리하면, 매우 자유롭고 수평적이었다. 모두 oo님으로 부른다.(대표님도!)

* **업무 분담이 엄격하지 않다**

무조건 프론트엔드 또는 백엔드만 하는 것은 아니다. 다양한 업무를 경험할 수 있어서 그 점이 가장 좋았다. 장점이자 단점일 것 같은데, 나에게는 장점으로 다가왔다.

* **자유로운 출퇴근 시간 + 재택 근무**

일주일에 2번 사무실 근무가 권장되었으나, 코로나 상황에 따라 달라지는 것 같다. 출근 시간은 자유다. 퇴근 시간도 자유다. 하지만 그만큼 다들 일을 열심히 하신다.

* **공식 언어는 영어**

외국인 직원분들이 있다. 전체 회의, Github Issue & PR 에는 영어가 사용된다. 회사 채널에서는 질문 또는 대화를 하는 사람이 모두 한국인이면 한국어로 작성해도 되지만, 그게 아니라면 영어로 작성한다.

* **점심 제공, 헬스비 지급, 휴가는 자유롭게, 법정 연차 휴가는 다 쓰자**

기본적으로 사무실에서 근무를 하면 점심이 제공되고, 같이 먹는다. 물론 점심 약속이 있는 경우, 따로 먹어도 된다. 헬스비는 일부 지원이 되는데, 이건 안써서 잘 모르겠다. 휴가에 대해서는 정말 자유로운 분위기였다. 미리 말하기만 하면 된다. 개인별로 장비가 지급된다. 인턴십 기간동안 맥북과 마우스, 키보드를 받아서 들고 다녔다.

* **모르는 게 있을 땐 질문!! 다들 친절하게 알려주신다**

인턴십 기간 동안 제일 어려웠던 게 질문하는 것이었다. 기본적인 것도 모른다고 생각하실까봐 걱정돼서 구글링을 열심히 하고, 혼자 탐구하는 시간을 많이 가졌다. 시간이 지날수록 질문의 중요성을 깨달았다. 아무도 뭐라고 하지 않는다. 다들 잘 알려주셔서 질문할 때마다 많은 것을 배웠다. 그리고 에러 때문에 앓고 있으면, 도와주기도 하셨다.

인턴십 기간이 두 달이라 기업 문화를 모두 이해하기에 짧은 시간이지만, 그 기간 동안 느꼈던 회사의 문화를 정리해보았다. 스타트업에 취업하고 싶다는 생각은 한 번도 못했는데, 래블업에서 인턴으로 일하면서 생각이 많이 바뀌었다. 다들 좋은 회사 문화를 만들기 위해 항상 노력하셨다.

## 후기

인턴을 시작할 때에는 머릿속에 걱정이 대부분이었다. 하지만 이슈를 해결하면서 조금씩 이해되기 시작하니 점점 즐거워졌다. 지원할 때 동기를 물어보는 질문에 좋은 분들과 함께 열정적으로 일해보고 싶다고 적었던 것 같은데, 기대했던 대로 좋았다. 그동안은 프론트엔드 개발만 했는데, 백엔드를 경험할 수 있었다. 생각보다 훨씬 흥미로웠기 때문에, 앞으로 백엔드를 더 공부해볼 계획이다.

확실히 실무는 달랐다. Github에서 code와 pull request tab만 썼었는데, Action을 처음 사용해봤다. 프로젝트가 어떻게 관리되는지 배울 수 있었다. git 명령어도 조금 더 다양하게 쓰게 되었다. 이곳에서 일하면서 시야가 많이 넓어졌다. 배운 것들이 앞으로 도움이 많이 될 것이라고 생각한다.

두 달이라는 시간이 짧게 느껴질 정도로 즐겁고 유익한 시간이었다. 마무리해야하는 게 아쉽지만, 나중에 좋은 모습으로 다시 뵐 수 있도록 열심히 공부하려 한다.


IT 스타트업 래블업에서 보낸 첫 인턴십 두 달의 기록입니다. 백엔드 실무와 수평적인 팀 문화를 겪으며 개발자로 성장한 과정을 돌아봅니다.

IT 스타트업에서 경험한 첫 인턴십

크리산 안젤라

이 아티클을 통해서 새로운 친구들과 함께 실력 있는 전문가들로부터 인공지능, 데이터 사이언스, 컴퓨터 비전, 컨테이너 가상화 및 CLI를 배우는 소중한 날들에 대해 언급하려고 합니다.


이 아티클에 있는 “여름”이라는 단어와 어울리지 않게 바깥의 초겨울 바람이 불고 있을 만큼 이 글은 늦게 작성되었습니다. 저는 이 글이 쓰기 5개월 전인 6월 28일에 인턴십을 시작하여 8월 20일까지 진행하였습니다.


## 어떻게 시작하게 되었을까요?
[래블업(Lablup)](https://www.lablup.com)은 대한민국 서울특별시에 본사를 둔 스타트업입니다. 래블업의 주요 제품인 [Backend.ai](https://www.backend.ai)는 “CUDA와 ROCM을 포함한 확장 가능한 이기종 가속기 지원을 통해, 다양한 프로그래밍 언어 및 인기 있는 컴퓨팅/머신러닝 프레임워크를 호스팅 하는 능률적인 컨테이너 기반의 컴퓨팅 클러스터 오케스트레이터”입니다. 위의 인용은 [link](https://github.com/lablup/backend.ai)를 통해 방문할 수 있는 Backend.AI 오픈소스 GitHub 저장소에서 따왔습니다.


<figure>
  <img src="https://cdn.lablup.com/Lablup_Logo_with_text_horizontal_text_with_color_L_60ba8caaa1.png" alt="Lablup_Logo">
  <figcaption>The Lablup logo</figcaption>
</figure>
 
저는 제 선배님 중 한 명이 래블업에서 인턴을 했었기 때문에 래블업에 대해 알고 있었습니다. 당시 저는 막 3학기를 마쳤기 때문에 컴퓨터 공학 관련 인턴십을 지원하는 데 필요한 자격 요건을 거의 다 채우지 못했지만, 그 다음 학기를 마치고서는 인턴십 프로그램에 지원할 준비가 되었다고 느꼈습니다. 인턴십에 관해 가장 관심을 끌었던 부분은 인공지능 관련 스킬과 소프트웨어 및 웹 개발 스킬을 어떻게 동시에 훈련할 수 있을까 하는 것이었습니다. 주니어/시니어 인턴십 활성화를 위한 기업-대학 파트너십 프로그램인 CUop이 비자 문제로 유학생으로 있을 수 없었기 때문에, 래블업에 별도로 신청해서 지원하게 되었습니다. 저는 백엔드에 대한 배경지식이 부족해서 조금 불안했지만 다행히 합격했습니다:)

## 처음 며칠 동안
인턴십 프로그램은 Covid-19 대유행(ㅠㅠ)으로 인해 대부분 원격으로 진행되었지만, 사전에 “사무실 출근 목록”을 작성한다면 일주일에 몇 번 사무실에 출근할 수 있었습니다. 꼭 그래야 할 필요는 없었지만, 좀 더 프로그램에 몰입하기 위해 여름 동안 대전에서 서울로 이사했습니다. 서울로 옮긴 후 며칠 동안, 저는 바쁜 도시 생활에 적응하며 수도에서의 풍부한 문화의 혼합을 탐험하며 보냈습니다.



<figure>
  <img src="https://cdn.lablup.com/street_b922647287.png" alt="Backend.AI Architecture">
  <figcaption>추억의 장소들</figcaption>
</figure>


첫 인턴십 날, 간단한 오리엔테이션을 위해 직접 사무실로 오라는 권유를 받았습니다. 총 여섯 명의 인턴이 있었는데 모두 사무실로 와서 참석하였습니다. 오리엔테이션에는 정직원 분들도 많이 참석하였습니다. 아쉽게도 이 오리엔테이션은 모든 인턴이 함께 모인 마지막 일정이 되었습니다(._.) 여기에서 인턴십 프로그램에 대한 간략한 개요 및 회사의 역사에 대한 발표를 들은 뒤 4인 1조로 밖에서 점심을 먹었습니다. 또한 Teams 채팅 및 기타 내부 협업 플랫폼에 참여하는 방법에 대한 지침을 들은 뒤 일찍 퇴근하였습니다.

오리엔테이션 과업은, 로컬 컴퓨터에 Backend.AI 설치, 웹으로 접속 및 TensorFlow의 튜토리얼을 기반으로 하는 fashion-MNIST 분류 과제를 해결하는 것으로 구성되었습니다. 과업을 마친 후, 래블업의 내부 플랫폼에 작업 결과를 스크린샷으로 제출하였습니다.(P.S. Backend.AI는 누구나 무료로 이용할 수 있으므로 관심이 있다면 그들의 페이지를 확인하십시오.)

참고로 이 작업을 시작할 당시 Backend.AI는 아직 M1 맥과 같이 ARM 기반의 아키텍처를 지원하지 않았습니다. 인텔 맥에서는 설치 및 실행이 완벽하게 작동했겠지만, 제 M1 맥에서는 계속되는 설치 시도에도 불구하고 결과가 좋지 못했습니다ㅠㅠ(역주: 인턴십 기간이 끝난 후인 2021년 9월 릴리스부터 Backend.AI 에서도 Apple Silicon을 포함한 ARM 기반 아키텍처를 지원합니다)


<figure>
  <img src="https://cdn.lablup.com/orientation_tasks_3ef65889c6.png" alt="Backend.AI Architecture">
  <figcaption>첫 번째 업무</figcaption>
</figure>


## Research team 업무

2주 차에는 우리는 research team으로부터 과제를 할당받았습니다. 인턴십 기간 동안, 우리는 마스크의 효용에 대한 두개의 오픈소스 논문(2020년 Scientific Reports 지에 게시된 [Efficacy of masks and face coverings in controlling outward aerosol particle emission from expiratory activities by Asadi et al.](https://www.nature.com/articles/s41598-020-72798-7) 및 2020년 The Royal Society Open Science 지에 게시된[Face coverings and respiratory tract droplet dispersion by Bandiera et al.](https://royalsocietypublishing.org/doi/10.1098/rsos.201663) 에서 사용된 데이터를 분석하였습니다. 2020년에 의 데이터를 분석하였습니다. 첫 번째 논문에 관련된 업무를 끝내는 데는 일주일이 걸렸는데, 이를 통해 배운 가장 큰 교훈은 데이터 시각화는 데이터 분석에서 매우 작은 부분에 불과하다는 것이고 대부분의 작업은 데이터 프레임을 구성하고 원시 데이터를 정리하는데 소요된다는 것입니다. 저는 해당 작업을 위해 Backend.AI Cloud의 주피터 노트북을 사용하여 Pandas, NumPy, Matplotlib 및 Seaborn 라이브러리를 사용하였습니다.



  <img src="https://cdn.lablup.com/final_results_cb44a7cb9e.png" alt="The final results I got for the first task">
  <figcaption>마지막 업무</figcaption>
</figure>     



두 번째 논문은 첫 번째 논문보다 훨씬 어려웠는데, 그 이유는 첫 번째 논문의 데이터와 달리 텍스트 데이터가 아닌 이미지 데이터로 작업해야 했기 때문입니다. 입자 검출을 이용하여 입자의 수를 세어야 하는데 인턴십 프로그램이 끝날 때까지 좋은 알고리즘을 찾지는 못했습니다(ㅠㅠ)이 과제를 해결하기 위해 OpenCV 라이브러리의 앙상블 기능을 활용했습니다.


<figure>
  <img src="https://cdn.lablup.com/Two_snapshots_35cb3ec437.png" alt="이미지 처리 스냅샷">
  <figcaption>이미지 처리 스냅샷</figcaption>
</figure>


## Backend.ai Issues

데이터 사이언스가 주 업무인 Research team의 업무 외에도, 인턴십의 주요 부분이라 할 수 있는 Backend.AI 저장소의 이슈들을 해결하기 위해 노력하였습니다. 구성 요소가 꽤 많고 업계에서 사용되는 코드를 다루는 것은 이번이 처음이기 때문에, 코드베이스를 이해하는데 꽤 오랜 시간이 걸렸습니다. 결과적으로 제가 처음에 기대했던 것만큼 많은 이슈를 다룰 수는 없었습니다…

업무를 준비하기 위해 저는 리눅스 명령어, 쉘스크립트, 도커 컨테이너 및 클라이언트와 서버 간의 상호 작용에 대해 많이 배웠습니다. 그 당시 Backend.AI는 ARM 지원 및 [일관된 명령 규약](https://github.com/lablup/backend.ai-client-py/pull/163)과 같은 변경 사항을 포함하는 새로운 업데이트를 앞두고 있었습니다. 전자는 한 친구가 작업했고 후자는 다른 친구와 제가 협업하여 진행했습니다. 친구들과 멘토들로부터 배울 수 있었던 것은 매우 기억에 남는 경험이었고 그것은 내가 배울 것이 많음을 알려주었습니다! 인턴십이 끝날 무렵 저는 Backend.AI 저장소에 다음과 같이 코드 기여를 할 수 있었습니다.

 ![](https://cdn.lablup.com/10_1_backend_AI_ac404b7f94.jpg) 
 ![](https://cdn.lablup.com/10_3_backend_AI_4a3960b086.jpg) 

## 사내 문화

솔직히 말해서, 저는 한국말을 잘하지 못해서 처음에는 조금 불안했습니다. 하지만 모두 친절하고 회의할 때는 영어를 공용으로 쓰기 때문에 매우 환영받는 느낌이었습니다.(🥺) 할 수 있는 한 스스로 과제를 해결하려고 노력했지만 여전히 정직원들의 도움이 수시로 필요했습니다. 다들 바빠서 질문을 하는 것이 조금 망설여졌지만 그래도 바쁜 일정 속에서도 스케줄 중에 최선을 다해 도와주려고 노력하셨습니다.

매일 아침 10시에는 모든 구성원들에게 중요한 업데이트와 일정을 브리핑하는 15분 정도의 짧은 회의에 참여했습니다.이외에도 회사의 “세미나”와 매주 화요일에 인턴과 신입 직원들이 돌아가면서 Backend.AI의 특정 부분을 발표하는 “코드베이스 스터디”가 있었습니다. 들을 때마다 얻어 가는 것이 많았기 때문에 Backend.AI가 어떻게 작동하는지 빠르게 이해하는데 많은 도움이 되었습니다. 또한 매주 수요일에는 인공지능, 머신러닝 및 데이터 사이언스 분야의 최근 동향에 대해 토론하는 “패블 세미나(pebble seminar)”가 있었고, 매주 금요일에는 OKR 미팅을 통해 한 주간의 진행 상황을 발표하고 멘토들의 피드백을 받는 시간을 가졌습니다. 4주 차 금요일에는 중간 평가가 있었고, 마지막 주 금요일에는 최종 평가 발표가 있었습니다.

회의나 세미나 외에도, 우리는 함께 게임을 할 수 있는 문화의 날도 가졌습니다. 불행하게도 판데믹으로 인해 이는 온라인으로 진행되었습니다. 우리는 동등한 실력을 가진 팀으로 나누어 경기를 했고, 많은 상품이 준비되어 있었습니다:D. 이는 다른 분들과 좀 더 격의 없이 교류할 수 있는 기회가 되어 정말 즐거웠습니다.


<figure>
  <img src="https://cdn.lablup.com/workspace_c58fd8ac9b.jpg" alt="My workspace">
  <figcaption> 일하면서 찍은 사진 한 장</figcaption>
</figure>



## 마치며

인턴십이 공식적으로 종료된 지 며칠 후, 친하게 지냈던 ‘언니’가 우리에게 밥을 사주었습니다(😊). 우리는 서양식(?) 플래터와 젤라또를 먹었는데 다 맛있었습니다. 동시에 지난 두 달 동안 친하게 지냈던 친구들과 헤어져야 하는 것이 정말 아쉬웠습니다.

<figure>
  <img src="https://cdn.lablup.com/drools_47cc27f779.png" alt="drools">
  <figcaption>맛있는 간식들</figcaption>
</figure>


전반적으로, 올해 여름은 래블업의 인턴십이 준 경험 덕분에 흥미진진했습니다. 기술적인 것 외에도 서울 답사, 회사 근무 체험 및 새로운 친구 사귀기 등의 기회도 얻을 수 있었습니다. 이 블로그 글을 좀 더 일찍 작성했어야 했지만 말입니다.


AI와 데이터 과학, 컴퓨터 비전, 컨테이너 기술을 두루 다룬 래블업 여름 인턴십 후기입니다. 실무 경험과 함께 쌓은 사람들과의 인연을 돌아봅니다.

래블업에서의 나의 여름 인턴십

사미 하마미

나는 2021 4월에 래블업에 입사했다. 이제 8개월이 지났고, 지금까지의 경험에 대해 간단히 소개하고자 한다.


### 지원과정
이전에는 여의도에 있는 금융회사에서 일했었다. 그곳에서 좋은 경험을 쌓고 훌륭한 동료들을 만났다. 그 중 한 명이 작년에 래블업으로 이직했는데, 회사의 장점들을 많이 얘기해 주었다. 나도 한번 도전해보고 싶어서 이력서를 넣었다. 연락을 받아 코딩 테스트와 면접을 봤다.  구인공고에 관심이 있다면, 정기적으로 업데이트되는 [래블업의 홈페이지](https://www.lablup.com/careers)를 자유롭게 방문해 보길 권한다.


### 배경
프랑스에서 장학금을 받아 한 학기 동안 해외 교환학생으로 갈 기회가 생겼다. 당시엔 한국 문화나 한국이라는 나라에 대해 전혀 몰랐지만, 어려서부터 일본 게임과 애니메이션을 좋아해서 아시아에 대한 관심이 많았다. 2016년, 내가 다니던 대학교와 서울과학기술대학교 사이에 새로운 교환학생 협정이 체결됐다. 바로 그날, 교수님이 한국에서 6개월을 보내고 싶은 학생이 있냐고 물어보셨는데, 어쩐지 내 손이 저절로 올라갔다.
처음으로 고향과는 완전히 다른 문화를 가진 나라에서 살게 됐다. 평생 친구가 된 사람들을 만났고, 인간관계부터 기술까지 정말 많은 걸 배웠다. 결국 그 모든 게 공부였다. 하지만 좋은 시간은 언젠가 끝나는 법이다.  한국에서의 경험도 그랬다.


졸업하기 전에 나는 무엇을 해야 할지 고민하기 시작했다. 같은 반 친구들 대부분이 프랑스에 있는 회사에 지원하고 있었고, 이미 스카우트를 받기 시작했다. 하지만 나는 기분이 좋지 않았고, 뭔가 다른 것을 원했다. 나는 한국에서 더 많은 경험을 하고 싶다고 느꼈고, 다른 것을 시도해 보고 싶었다. 비자 신청, 주택, 구직 활동에 대한 정보를 모으기 시작했다.

졸업 후, 서울행 비행기를 예약하고, 회사를 알아보기 시작했다. 석사과정을 하면서 전공 중 하나가 사이버 보안이었고, 이와 관련된 경험을 쌓고 싶었다. 얼마 지나지 않아 웹 개발뿐만 아니라 보안 업무가 필요한 금융 관련회사를 찾아갔다. 이 기간 동안, 지식을 공유하는 훌륭한 사람들을 만났고, 그들 중 한 명은 래블업으로 이직했다. 그는 나에게 래블업의 오픈소스 프로젝트, AI 연구 프로젝트, 클라우드컴퓨팅과 관련된 광범위하면서도 최첨단의 기술들과 빠르게 성장하는 속도에 대해 말해주었다. 그로 인해 관심을 가지게 되었고, 비슷한 시기에 래블업은 더 많은 IT 엔지니어와 개발자를 모집하기 시작했다. 그 결과, 나는 지원서를 제출했고, 이력서 심사와 프로그래밍 시험을 거친 후 면접을 보게 되었다.

### 래블업에 대해
클라우드컴퓨팅이나 소프트웨어, AI 관련 작업에 관심이 있다면 래블업은 한국에서 가장 매력적인 기술 스타트업 중 하나일 것이다. 모두 매우 열정적이고 유능하다.

래블업은 AI 연구를 위한 시스템 자원관리 플랫폼인 [Backend.AI](https://www.backend.ai)를 개발하고 관리한다. 보다 정확하게 말하자면, Backend.AI 는 여러 프로그래밍언어 및 머신러닝 관련 프레임워크를 호스팅 하는 컨테이너 기반 컴퓨팅 클러스터 오케스트레이터이다. 여러 세션을 위한 컴퓨팅 리소스를 할당하고 격리한다.

래블업에서의 첫 주에는 내 로컬 머신에 Backend.AI를 설치하고 실행해야 하는 과제가 있었다. 첫 번째 use case를 만들기 위해 비슷한 도구를 사용하는 작업도 있었다. 그중 하나는 비동기 http client/server (repository)인 aiohttp를 사용하여 채팅 애플리케이션을 구축하는 것이었다. 모든 과정은 매우 순조로웠다. 모든 사람들은 어떤 질문에도 열려있었고 기꺼이 도와주었다. 이러한 점들은 일을 즐기게 만들었고, 처음부터 매우 좋은 인상을 주었다.


### 경험
래블업에 입사한 후 첫 주에는, 플랫폼 구조와 회사 및 개발자 팀의 워크플로를 파악하기 위해 Backend.AI의 간단한 작업과 이슈 해결을 주로 수행했다. Backend.AI는 복잡한 구조를 가지고 있어서 이해하기 위해선 약간의 시간이 필요했고, 이 기간 동안 good first issue들을 해결했다. 컴포넌트들이 상호작용하는 방식을 파악한 뒤, 프레젠테이션을 통해 도메인, 그룹, 사용자 및 정책관리 시스템에 대해 내가 이해한 내용을 공유했다.

### 라이선스 관리
Backend.AI는 오픈소스 소프트웨어이지만, 래블업 엔지니어의 지원을 받거나 모든 기능을 사용하기 위해서는 회사나 개인이 라이선스를 구입해야 한다. 라이선스의 개념은 사용자가 구입한 경우 소프트웨어에 대한 접근 권한을 단순히 제공하기 때문에 상대적으로 간단해 보일 수 있지만, 사실 그 뒤의 시스템은 더 복잡하다. 각 사용자에 대해 암호화된 키를 생성하고, 맞춤형 라이선스 키를 생성하고, 요청이나 만료 날짜 업데이트 등을 통해 키가 여전히 유효한지 시스템에서 확인해야 한다. 시스템뿐만 아니라 사람이 할 일도 많다. 프로세스를 간소화하기 위해 나는 라이선스 서버를 백오피스와 통합하여 모든 라이선스 관리에 대해 더 나은 가시성과 접근성을 제공하는 작업을 주로 수행해 왔다.

이번 프로젝트를 통해 Golang(구글이 개발한 프로그래밍언어)에 대해 배우는 것뿐만 아니라 AWS 클라우드 인스턴스, 그룹 보안 관리에 대해 깊게 이해할 수 있었다. 업무와 학습에 시간을 적절히 배분했다. 업무를 완료하거나 개선하기 위해 근무시간 중에 외부나 내부 자료를 찾아볼 기회가 많았다. 특히 코드 리뷰를 하거나 커피 한 잔을 마시며 이야기를 나누면서 동료의 피드백을 받을 수 있었다.

### 마치며
오케스트레이터로서, Backend.AI는 Manager, Agent, Storage proxy 등 많은 컴포넌트가 필요하다. 래블업에서 일한다는 것은 다양한 도구와 프로그래밍언어로 작업하며 관련 주제에 대한 깊은 이해를 쌓아가는 것을 의미한다.

나는 종종 5년 혹은 그 이후에 무엇을 하고 있을지 생각한다. 많은 희망이 실망으로 이어진다고 생각하기 때문에 이 질문에 대답하기가 쉽지 않지만, Backend.AI가 더 널리 사용되길 진심으로 바라고 다른 흥미로운 프로젝트도 진행하면서 Backend.AI도 계속 작업하고 싶다. 회사와 동료들에게 없어서는 안 될 사람이 되기 위해 프로그래밍에 대한 열정을 가지고 열심히 일할 것이다.

프로그래밍이나 AI, 클라우드컴퓨팅 또는 IT와 관련된 모든 것에 열정이 있거나, 다른 열정적이고 재능 있는 사람들과 함께 일하는 것에 관심이 있다면, 래블업에서 일하는 것을 고려해 보길 바란다.

래블업에 합류해 8개월을 보내며 AI 기술 분야에서 성장한 이야기와 앞으로의 목표를 솔직하게 풀어놓은 글입니다.

8개월 동안 래블업에서 일하면서

박태완

## Internship 지원과정
3학년 1학기가 끝나가고 있었고, 다음 학기부터는 졸업작품을 준비해야 되는 시기가 왔다. 이번 방학 때 의미 있는 활동을 하고 싶어 고민하던 중, 페이스북에서 래블업 인턴십 공개채용 게시글을 보게 되었다.


<figure>
  <img src="https://cdn.lablup.com/01_internship_position_opening_610d8c7f4f.png" alt="intern">
  <figcaption>래블업 페이스북에 올라온 인턴 채용공고</figcaption>
</figure>


채용공고를 읽고 나서 정말 놓치면 안되는 기회라고 생각했다. 이미 알고 있는 스타트기업 중 하나였고 우리 학교와 연계하여 진행하는 현장실습 기업들과 비교하였을때 인턴십 프로그램이 가장 알차다고 생각했다. 바로 지원서를 작성하게 되었다. 지원서는 주로 프로그래밍, 프로젝트 경험에 대한 문항이 많았다.

지원서를 제출한 후, 얼마 지나 면접 메일이 왔다. 일단 서류에 합격했다는 사실이 기뻤지만, 처음 보는 기술면접이라 걱정을 많이 했다. 어떤 부분을 준비해야할지 고민하던 끝에 결국 기술부분은 많이 준비하지 못하고, 지원서에서 작성한 프로그래밍 및 프로젝트 경험에 대한 부분을 준비하여 화상회의에 참가하였다.

면접은 다행히 프로그래밍 및 프로젝트 쪽을 많이 물어보셨다. CS 기술 질문도 하셨지만 많이 대답하지 못했다 ㅠㅠ. 지금 와서 꺼내는 얘기지만, 당시에 너무 당황해서 머리가 어지러웠고 진짜 쓰러지는줄 알았다. (지금 생각하면 어떻게 합격했는지 궁금하다)

면접이 끝나고 몇주 뒤, 종강을 하고 여름방학 계획을 세우던 중에 합격 메일을 받게 되어서 매우 기뻤다!! 인턴십 선호 시작일을 일주일 뒤로 정한 뒤, 일주일 동안 신나게 놀았다.

## 인턴 과제/생활
래블업 인턴십은 회사에서 각 분야별로 기초적인 작업을 해결해보는 부트캠프 과제를 1주 차에 진행하고, 나머지 주차에 본인이 더 경험해보고 싶었던 분야나 관심 있는 분야 쪽 작업/issue를 맡아 해결해보는 방식으로 진행되었다.

래블업의 핵심 플랫폼은 오픈소스이다! 따라서 인턴십 과제도 GitHub에서 공개적으로 이루어졌다.

## Bootcamp Assignment
부트캠프 과제를 크게 요약하면 다음과 같다.

Backend.AI를 사용하는 방법을 익힌다
Backend.AI를 이용하여 머신러닝/딥러닝 모델을 학습시킨다
Backend.AI를 로컬에서 개발 가능한 환경으로 설치한다
Backend.AI는 래블업의 핵심 제품이다. 부트캠프 과제가 끝나면 실제 Backend.AI 쪽 개발 과제가 나갈 예정이였기에 해당 과제들은 완벽하게 해결하고 넘어가야 했다.

> ❗ **Note** 각 이미지를 클릭하면 해당 PR로 넘어갑니다.

## Backend.AI Webserver

[![웹서버 ping API 추가 PR](https://cdn.lablup.com/02_add_ping_api_e728b31a50.png)](https://github.com/lablup/backend.ai-webserver/pull/38)

부트캠프 과제가 끝난 후, Backend.AI 소스코드를 열심히 읽던 중 처음으로 맡게 된 good first issue였다. 웹서버가 잘 작동하고 있는지 확인할 수 있는 ping API를 추가하는 과제였다. Backend.AI의 웹서버는 aiohttp를 사용하기에, 다음과 같이 코드를 작성하였고, PR을 보낸 결과 추가 수정사항 없이 PR approval을 받을 수 있었다.

## Backend.AI Agent

[![PR 리뷰](https://cdn.lablup.com/03_add_path_to_default_3f56966d54.png)](https://github.com/lablup/backend.ai-agent/pull/296)

다음은 agent 쪽 이슈를 맡았다. Backend.AI agent는 연산 노드에 설치되어 컨테이너들을 관리 및 제어하는 부분이다. 이번에는 Backend.AI agent에서 컨테이너를 생성 할 때, 컨테이너 PATH 환경 변수에 ~/.local/bin 경로가 항상 포함될 수 있게끔 만드는 과제였다. Backend.AI agent 쪽 방대한 양의 코드를 보고 처음에 어떻게 해야 할지 많이 당황했지만, CTO 김준기님께서 ai.backend.kernel 쪽 BaseRunner 객체가 생성 될 때 실행되는 코드 부분을 살펴보면 된다는 힌트를 주셔서 성공적으로 해결할 수 있었다!

p.s. 이번 과제를 하면서 알아본 결과, ~/.local 폴더는 /usr/local 폴더와 같이 로컬이나 서드파티 패키지를 설치할 때 사용되나, /usr/local 이 모든 사용자 용인 반면, ~/.local 폴더는 단일 사용자 용이라고 한다. 특히 pip에서 사용한다…! (물론 bin에는 executable들이 들어있다)


## Backend.AI Manager

[![## Backend.AI Manager](https://cdn.lablup.com/04_duplicate_target_dir_check_e0bd4697c3.png)](https://github.com/lablup/backend.ai-manager/pull/461)


다음 과제는 이 PR을 리뷰하던 중 생긴 과제였다. 해당 PR은 가상 폴더에 alias를 설정하여 세션을 만들 수 있는 기능을 webui에 추가하는 PR이었는데, 리뷰하던 도중 alias 이름이 중복되어 들어가게끔 만드는 버그를 찾게 되었다. Webui 상에서 alias 이름이 중복되어 들어가게 되면 실제로 Backend.AI agent에서 세션이 만들어질 때 같은 디렉터리에 이름이 똑같은 폴더가 두 개 있을 수는 없으니 오류가 발생하여 정상적으로 작동하지 않게 된다. 물론 해당 부분은 패치해서 PR이 정상적으로 병합되었지만, Backend.AI manager 쪽에도 안전 코딩이 되어있으면 좋겠다는 의견이 모여 해당 건을 내가 맡게 되었다. 작업을 하면서 폴더 이름 중복 검증뿐만이 아니라 백포트 되면서 중복된 코드도 정리하여 PR을 보냈고, 성공적으로 PR이 병합되었다.

## Backend.AI Test

[![add_new_cli_based_test](https://cdn.lablup.com/05_add_new_cli_based_test_35de5929f0.png)](https://github.com/lablup/backend.ai-test/pull/1)

마지막 과제는 다른 인턴과 함께 협업하는 특별한 과제였다. 다른 인턴분이 Backend.AI CLI 커맨드를 리팩토링을 하고, 나는 리팩토링 된 CLI 커맨드들을 이용하여 통합 시험(Integration Test)를 작성하는 역할을 맡았다. 각 커맨드에서 CRUD(Create-Read-Update-Delete)를 포함한 커맨드를 실행 후 정상적인 값 또는 결과가 나왔는지 확인하는 과정으로 테스트 케이스를 작성하였다. 생각보다 커맨드가 많아 작업하는데 시간이 예상보다 오래 걸렸지만, 그만큼 제일 뿌듯했다. 이렇게 한 사람이 커밋한 코드를 기반으로 동시에 다른 코드를 짰다는 점에서 색다른 경험이었다고 생각한다.

## OKR Meeting

<figure>
  <img src="https://cdn.lablup.com/06_okr_tracker_1_f2c12fcd30.png" alt="OKR Meeting">
  <figcaption>OKR Tracker</figcaption>
</figure>

래블업 인턴들은 매주 한 번씩 OKR Meeting을 참석해야 한다. OKR Meeting 이란 이번 주에는 어디까지 했고 작업하면서 어떤 과정에서 막혔다, 그리고 그걸 어떻게 해결하였는지 정리하여 발표하는 Meeting이다. 또한 발표를 하게 되면 래블업 팀원분들이 각 작업에 대한 피드백을 해주신다. 피드백을 받으며 부족했던 부분을 채울 수 있었고, 다른 인턴들의 발표도 들으면서 담당하지 않은 다른 부분의 내용도 알 수 있어 유익했다.

## 인턴 후기
회사는 선정릉역 5분 거리에 위치해 있다. 사무실이 많이 크지는 않지만, 다양한 복지시설이 존재한다. 스트레스 해소용으로 플레이할 수 있는 Xbox, 전자피아노 등이 있다. (Xbox에는 ultimate game pass가 구독되어 있다!) 근무 중 집중이 안 되거나 휴식이 필요할 때는 언제든지 와서 플레이할 수 있다.

회사는 엄청 자유로운 분위기이고 수평적인 커뮤니케이션을 지향한다. 다들 너무 친절하시고 질문도 잘 대답해 주신다. 덕분에 처음에 낯을 많이 가리지 않고 잘 적응할 수 있었던 것 같다.

매일 아침 10시에 All-hands Meeting을 통해 간단하게 다른 분들의 작업과 성과를 트래킹하고, 오늘 일정을 공유한다. 또한 래블업에서 진행되는 Meeting은 누구든 간에 참여가 가능하다. 인턴도 마찬가지로 다양한 Meeting에 참가하여 실무 지식을 쌓을 수 있기에 정말 좋은 문화라고 생각한다.

인턴십 기간 동안 다양한 과제를 수행하면서 점점 실무 작업에 가까워진다는 생각이 들었다. 아직 갈 길이 많이 남았지만, 간단한 이슈부터 시작해서 여러 부분에서 회사 제품에 기여를 했다는 점이 뿌듯했다. 실무 과제들을 해결하는 과정에서 여러 문제들이 가로막았지만, 삽질을 통해 해결하는 과정에서 정말 많이 배웠다고 생각한다. 또한 Backend.AI의 코드는 이때까지 다뤄본 프로젝트 중에서 코드가 가장 많고 복잡하였는데, 이를 차례대로 해석하면서 어떻게 작동하는지 알아가니 성취감이 높았다.

회사에 출근하여 멘토 옆에서 다양한 경험을 쌓고 싶었으나, 안타깝게도 인턴십이 시작되자마자 사회적 거리 두기 단계가 4단계로 올라가 회사에 많이 못 가서 아쉬웠다.


래블업에서 2021년 여름 인턴십 동안 오픈소스 개발에 기여한 경험을 정리한 후기입니다. 어떤 프로젝트에 어떻게 참여했는지 구체적으로 돌아봅니다.

래블업에서의 2021 여름 인턴십 후기

이용균

래블업이라는 한국 스타트업에서 7주 동안 소프트웨어 엔지니어로 인턴을 했다. 골드만 삭스 인턴이 끝나고 가을 학기 개강까지 시간이 많이 남아 ‘놀면 뭐하나''라는 마인드로 일을 시작했는데 너무 귀한 경험이었다.

### 인턴 지원 과정
래블업은 [OSS](https://www.oss.kr)에서 운영하는 컨트리뷰톤에 멘토로 참가하는 회사였다. 컨트리뷰톤은 참가자가 회사와 매칭이 되어 6주 동안 멘토 회사의 오픈 소스 프로젝트에 기여를 하는 대회이다. 이 대회에 참가할까 잠깐 고민 했지만 풀타임으로 일을 하고 싶어 래블업의 창업자/CEO에게 연락하여 면접을 보고 일을 시작했다.


### 래블업에 대하여
[래블업](https://www.lablup.com)은 한국에서 제일 핫한 기술 스타트업으로 인공지능 연구를 위한 리소스 관리 플랫폼인 Backend.AI를 오픈소스로 개발하고 있다.

Google Colab는 간단하게 사용하기에는 편리하고 유용하지만 기능에 제한이 있다. 예를 들어 특정 OS에서만 작동하는 프로그램을 활용하거나 용량이 큰 데이터셋을 사용하는 경우에 한계가 드러난다. 그래서 제대로 인공지능 연구를 하는 기관에서는 Google Colab를 사용하지 않는다. 네이버에 있을 때에는 NSML이라는 내부 플랫폼을 사용했고, Onclusive에서는 GPU를 충분히 사용하기 위해 AWS 인스턴스를 실행시켜 모델을 학습시켰다. 간단한 방법이지만 매번 필요한 프로그램을 다운로드 받고, scp로 로컬에 있는 파일들을 전송하고, 사용 후에는 인스턴스를 정지 시켜야 했기 때문에 상당히 귀찮았다.

래블업은 B2B로 여러 기관에 Backend.AI 기술 지원을 하면서 수익을 냈다. 내가 인턴을 시작할 때 Google Colab처럼 일반 소비자를 대상으로 하는 서비스를 런칭했는데 Google Colab보다 유용하고 활용도가 높지만 유료인 서비스이다.

### 인턴 경험
7주 동안 하나의 큰 프로젝트를 맡아서 하기보다 여러 가지 이슈들을 해결했다. Backend.AI는 굉장히 복잡해서 개인 컴퓨터에 세팅을 하고 작동시키는 데까지 며칠이 걸리고, 시스템의 작동 흐름을 이해하는 데에는 한 달 정도가 걸렸다. UI까지 모두 로컬 환경에서 구동시키려면 총 여섯 개의 프로그램을 돌려야 하는데 터미널을 여섯 개씩 연 상태에서 일을 하면 괜히 멋있어 보이는 느낌이 들기는 한다. 어쨌든 인턴으로 일했던 내용은 아래와 같다.

#### GPU 균등 분배 (Even Allocation of GPU)
몇몇 연구는 모델 학습을 위해 GPU 여러 대를 사용할 때에 GPU를 고르게 분배한다는 가정을 한다. 그래서 우리는 간단한 greedy 방법 대신 알고리즘을 개발하기로 했다. 예를 들어, 0.3GPU를 0.2GPU 두 개에 분배해야 하는 경우에 0.2/0.1보다 0.15/0.15를 선택하도록 프로그램을 짰다.

나는 알고리즘 개발에 대부분의 시간을 사용했다. Leetcode 문제를 푸는 느낌이었지만 문제를 풀 때보다 훨씬 더 다양한 경우의 수를 생각해야 했고, 예상보다 예외 상황(edge case)이 많아 깔끔한 코드를 짜는 것이 어려웠다. 이 알고리즘이 시스템 내에서 작동할 수 있도록 코드를 짰다.

Github Link - [PR](https://github.com/lablup/backend.ai-agent/pull/228), [Issue](https://github.com/lablup/backend.ai/issues/85)

#### etcd3 라이브러리 교체
Backend.AI는 asyncio를 많이 사용한다. [python-etcd3](https://github.com/kragniz/python-etcd3)는 asyncio에서 etcd를 사용할 수 있게 해주는 오픈소스 라이브러리인데 관리가 안 된지 오래 되었고, Backend.AI 에이전트 종료시 발생하는 grpc 관련 에러가 오랜 기간 수정되지 않고 있었다. 그래서 나는 python-etcd3를 포크한 etcd3aio를 포크한 aetcd3라는 라이브러리를 찾아 몇 군데 수정하고 python-etcd3와 교체한 후 로컬 환경에서 Backend.AI가 에러 없이 실행되도록 만들었다. 하지만 Backend.AI처럼 복잡한 시스템에서 사용하는 외부 라이브러리를 교체하는 일은 매우 조심해야 하기 때문에 결국 내가 근무하는 기간 동안 내 성과가 반영되지 못했다. 그래도 여러 오픈소스 라이브러리로 실험을 하고 사람들이 올린 이슈를 읽으면서 오픈소스 커뮤니티를 살짝 경험해볼 수 있었다.

Github Link - [Issue](https://github.com/lablup/backend.ai/issues/189)

#### XFS 스토리지 프록시 (XFS storage proxy)
XFS는 실리콘 그래픽스라는 회사에서 만든 파일 시스템으로 Backend.AI의 XFS 스토리지 프록시를 개발했다. Backend.AI는 가상 폴더 시스템을 사용한다. 사용자들은 클라우드에 각자의 개인 가상 폴더를 만들고, 파일, 라이브러리, 혹은 코드를 저장할 수 있다. 물론 폴더 공유나 복제, 접근 권한 관련 기능이 구현되어 있다. 실제로 가상 폴더는 프로그램에서 지정한 파일 시스템에 특정 구조로 저장이 되고, XFS는 Backend.AI가 지원하는 파일 시스템 중 하나이다.

기본적인 가상 폴더 기능은 이미 구현이 되어 있어 나는 이를 XFS에 적용시켰다. XFS에서는 프로젝트 단위로 파일 시스템이 관리되는데 `/etc/projid`와 `/etc/projects`에 프로젝트에 대한 정보가 저장된다. 그래서 가상 폴더를 새로 만들거나 지울 경우 앞의 두 파일을 적합하게 업데이트했다. 각 프로젝트에는 메모리 할당량(quota)이 있어 파일 용량이 넘어가면 할당량을 직접 늘려줬다.

XFS와 같은 파일 시스템은 처음 경험해봐서 XFS의 작동 원리와 사용 방법을 이해하고 익히는 데에 시간이 꽤 걸렸다. OSX는 XFS를 지원하지 않기 때문에 AWS에서 우분투 인스턴스를 만들어 작업했다. 터미널에서만 작업을 해야 했기 때문에 tmux와 vim 사용법을 익혔는데 생각보다 재밌었다.

Github Link - [PR](https://github.com/lablup/backend.ai-storage-proxy/pull/2)

#### 가상 폴더 나가기
사용자들이 공유 가상 폴더를 나갈 수 있는 기능을 구현했다. 여러 명이 공유하는 가상 폴더에서 사용자가 나가면 이를 관리하는 데이터베이스에 변화를 적용하고 해당 폴더에 대한 사용자의 접근 권한을 없앴다. 그리고 파이썬 클라이언트를 통해 이 기능을 실행할 수 있게 하였다. 전형적인 백엔드 일로 API 엔드 포인트와 관련 기능을 구현했다.

Github Link - [Issue](https://github.com/lablup/backend.ai/issues/150), [PR (manager)](https://github.com/lablup/backend.ai-manager/pull/317), [PR (client-py)](https://github.com/lablup/backend.ai-client-py/pull/123)

#### 가상 폴더 복제
공유 가상 폴더 혹은 그룹 가상 폴더를 개인 가상 폴더로 복제하는 기능은 사용자들이 기존 프로젝트를 시작점으로 새로운 프로젝트를 쉽게 시작하거나 공유 가상 폴더의 내용을 실험적으로 사용하고 싶을 때 유용하다. 가상 폴더 나가기 기능 구현 작업처럼 Backend.AI 에이전트와 매니저 그리고 파이썬 클라이언트에 관련 기능을 구현했다.

Github Link - [Issue](https://github.com/lablup/backend.ai/issues/150), [PR (manager)](https://github.com/lablup/backend.ai-manager/pull/323), [PR (client-py)](https://github.com/lablup/backend.ai-client-py/pull/127)

#### 설치 스크립트 업데이트
Backend.AI를 실행하기 위한 모든 프로그램을 설치하고 알맞은 환경 설정을 하는 설치 스크립트를 업데이트했다. 스크립트 실행 시 다른 작업 없이 바로 Backend.AI를 돌릴 수 있는 상태까지 만드는 것이 목표였다. 도커에서 etcd와 postgres 설정을 하는 등의 작업이 포함되어 있다.

Github Link - [Issue1](https://github.com/lablup/backend.ai/issues/216), [Issue2](https://github.com/lablup/backend.ai/issues/224), [PR](https://github.com/lablup/backend.ai/pull/215)

#### 글로벌 닷파일 (Global Dotfiles)
Backend.AI는 사용자들이 각자의 컨테이너에서 `~/.bashrc`나 `~/.zshrc` 같은 설정 파일을 수정할 수 있게 한다. 관리자 역시 글로벌 설정 파일을 수정하여 그룹 설정을 할 수 있어야 하기 때문에 도메인 혹은 그룹 레벨에서 `/etc/bash.bashrc`나 `/etc/profile`와 같은 설정 파일을 수정할 수 있는 기능을 구현하였다.

그룹 및 도메인을 관리하는 postgres 테이블에 닷파일을 저장할 수 있게 하고, Backend.AI 매니저, 에이전트, 그리고 파이썬 클라이언트에 닷파일을 생성, 수정, 삭제할 수 있는 기능을 추가하였다. 그리고 커널을 시작할 때 이 닷파일을 원하는 위치에 복사하도록 코드를 수정했다.

Github Link - [Issue](https://github.com/lablup/backend.ai/issues/210), [PR (manager)](https://github.com/lablup/backend.ai-manager/pull/329), [PR (agent)](https://github.com/lablup/backend.ai-agent/pull/232), [PR (client-py)](https://github.com/lablup/backend.ai-client-py/pull/132)

#### 서비스 포트 확인
주피터 노트북과 같은 앱은 Backend.AI 컨테이너 안에서 특정 포트를 사용하며 실행되는데 사용자들은 직접 서비스와 해당 포트 번호를 미리 입력해야 한다. 이 때 사용자들이 입력하는 포트는 여러 조건을 만족해야 한다. 예를 들어 같은 포트 번호가 중복 되면 안 되고, 1부터 65535까지의 숫자여야 하며, 시스템에서 내부적으로 사용하는 포트 번호를 입력하면 안 된다. 나는 이렇게 커널 시작 전에 사용자가 입력한 포트 번호를 확인하고, 문제가 있으면 에러를 발생시키는 코드를 짰다. UI에도 에러를 표시하도록 업데이트했다.

 ![](https://cdn.lablup.com/port_validation_screenshot_3bd5033924.png) 

Github Link - [PR (manager)](https://github.com/lablup/backend.ai/issues/150), [PR (agent)](https://github.com/lablup/backend.ai-agent/pull/235), [PR (console)](https://github.com/lablup/backend.ai-console/issues/715), [PR (common)](https://github.com/lablup/backend.ai-common/pull/52)

### 인턴십 후기를 마치며
래블업 인턴십은 어려웠지만 재밌었다. Backend.AI를 구동하는 데에 사용되는 기술을 대부분 처음 접해봐서 일을 하며 그 기술을 배워나가는 과정이 흥미로웠다. 특히 기존 코드 베이스와 인터넷의 여러 가지 문서를 몇 시간 동안 읽은 후에 내가 구현한 코드가 잘 작동할 때의 쾌감이 대단했다. Backend.AI를 구성하는 다양한 부분 (매니저, 에이전트, 콘솔, 파이썬 클라이언트, 설치 스크립트, 스토리지 프록시)에 모두 손을 댈 수 있어 의미 있었고, 특히 Backend.AI 시스템이 어떻게 작동하는지에 대한 큰 그림을 볼 수 있어서 많이 배웠다.

코로나 때문에 인턴 기간 대부분 재택 근무를 했지만 그래도 회사 분위기는 좋았던 것 같다. 래블업 창업자 분들은 너무 뛰어난 실력자들이여서 어떤 질문을 해도 잘 대답해주셨다. 새벽 2시 반에 푸쉬를 하고 다음날 아침 미팅에 나오는 몇몇 분들의 열정도 잊을 수 없다. 기술 기반 스타트업에서의 일은 다른 종류의 스타트업에서 일하는 것보다 더 전문적인 기술과 노력을 요구하지만 그만큼 성취감도 높은 것 같다. 몇 년 째 이렇게 열심히 일하는 래블업 멤버들을 보면서 나의 ‘열심히'의 기준도 같이 높아졌다.


래블업에서 7주간 소프트웨어 엔지니어 인턴으로 Backend.AI 플랫폼의 기술 이슈를 해결한 2020년 여름 인턴십 회고입니다. 합류 계기부터 실무에서 마주한 문제와 배운 점을 정리했습니다.

래블업에서의 2020년 여름 인턴십 회고

권강민

이 글은 나의 2020년 12월 22일 ~ 2021년 2월 19일까지의 **Lablup** 인턴십 후기이다.

## Internship 지원과정
국민대 소프트웨어학부에서는 매 방학마다 IT회사와의 internship 기회를 제공한다. 나는 이번이 4학년 2학기 겨울방학이였는데 보통은 이 시기에 다들 취업준비를 한다고 한다.

> **근데 무언가 아직 취직준비를 하기 보다는 좀 더 현업이 어떤지를 느껴보고 contribution을 해보고 싶다는 생각이 강하게 들었다.**

그래서 이번 겨울 방학에도 internship 프로그램을 지원하게 되었다.

 ![](https://cdn.lablup.com/kangmin_intern_review_img01_8d2033e40b.png) 



위 사진의 프로그래머스 공고사항을 보고 **내 관심역량에 따라 다양한 업무 가능**, 그리고 '**머신러닝 플랫폼을 활용하여 실제 모델 학습 및 데이터 분석을 해보고 싶은 사람**'에 꽂혀서 지원하게 되었다. 저번 Common Computer internship에서도 머신러닝 관련 프로젝트를 많이 했는데 무언가 기여할 수 있겠다 라는 느낌이 많이 들었다.

공고에 지원한 뒤 종현님과 면접을 통해서 합격하였다. (YEAHHHH!!)

 ![](https://cdn.lablup.com/kangmin_intern_review_img02_5626f263f3.png) 

## Lablup은 무엇을 하는 회사인가?
나는 항상 internship을 할때마다 senior 분들에게 여쭤보는 부분이 있다. 회사가 개발하는 것이 무엇이고, 어떤 BM을 가지고 있는지에 대해서 보통 여쭤본다. 왜냐하면 **내가 일하는 회사가 어떤 일을 하는지, 내가 무얼 만드는지도 모르는 사람이 되고 싶지 않기 때문이다. **
> **AI 연구를 위한 리소스 관리 플랫폼인 Backend.AI를 오픈소스로 개발하는 회사.**
한 마디로 **삽질**을 줄여주는 회사이다. ~~(~~거~~ 해보시면 압니다.. 이게 얼마나 빛과 소금인지~~).

AI 관련 프로젝트를 하다보면 정말 짜증나는 경우들이 많다. 특히 모델을 돌리기 위해서 사전작업들이 필요한데. 모델이 필요로하는 dependency 설정이나, 모델을 돌리기 위한 tool 같은걸 직접 install 하고 pytorch나 tensorflow를 사용할 때면 모델이 사용하는 여러 라이브러리들을 일일이 설치하고 버전 관리도 했어야 했다.

이전 인턴 때 한 senior분이 이런 말씀을 해주셨다.
> 삽질도 30분 이상 넘어가면 낭비라고 생각합니다. 스스로 삽질하면서 깨치는 것도 중요하지만 삽질도 **삽질 by 삽질**이라서... 일단 30분 넘게 안되면 그냥 나한테 물어보세요. **그리고 이걸 기록해두고 다른 사람은 삽질 안하게 합시다!**

**이런 짜증나는 작업들, 알고 있고 혹은 모른다 하더라도 크게 보았을때 시간 낭비 삽질인 부분**을 Lablup에서는 **Backend.ai** 라는 product를 통해서 도와준다. **미리 만들어놓은 kernel image**를 통해서 사용자들은 위와 같이 귀찮고 짜증나는 일련의 과정들을 겪을 필요 없이 **사용**만 하면 되는것이다!

## 나는 무엇을 했나?

- **Make Apache-Spark kernel Image**
- Make python kernel Image
- Make minecraft bedrock-serve Image
- Docsprint
- Translate tutorial of Backend.ai (English -> Korean)

대략 요약하자면 위와 같은 일들을 하였다.
python kernel 이미지와 minecraft kernel image는 main task인 Apahe-Spark image를 만들기 위해서 연습해본 것이라고 보면 된다. 일종의 _튜토리얼 과정_ 이였지만.. 내가 이해력이 부족해서 그런지 이런저런 Trouble들을 많이 겪었고 특히 **Apache-Spark**에서는 Troubleshooting을 위해서 꽤나 고생했던 기억이 있다.
Docsprint는 Lablup에서는 docs를 sphinx를 이용해서 관리하는데 docs의 버전이 꽤 오래되어서 회사분들 다같이 1~3일 동안 Document를 정리하는 시간을 가졌다. ~~(Documentation + Sprint)여서 Docsprint가 아닐까...?
그리고 ppt로 된 Backend.ai 튜토리얼이 있었는데 실제로 Backend.ai가 무엇인지 파악하기 위해서 이것을 읽고 실습해보았다. 그 과정에서 혹시 한국인 client가 있을 수도 있기에 이를 한국어로 번역하는 일을 다른 인턴분과 함께 하게 되었다.

## Process of Making kernel image
kernel image를 만들기 위해서 대략 아래와 같은 순서에 따라 개발하였다.

1. OP에서 task를 할당 받고 (OP : Open Project)
2. 할당 받은 task의 image에 대해서 무엇인지 학습
3. 필요한 Dependency 확인 및 Dockerfile 작성
4. 작성된 Dockerfile을 local Macbook에서 test
5. Test후에 LABLE을 하단부에 붙여넣기
6. 완성된 Dockerfile 과 service-def를 hub에 push
7. backend.ai 로 test 및 Troubleshooting
8. PR & code Review
9. Merge

## Troubleshooting for Apache-Spark
Spark kernel image를 만들면서 겪었던 몇 가지 Trouble을 공유해보려고 한다. Trouble들을 정리해보자면 대략 아래와 같다.
1. Dockerfile에서 ENV에 설정해둔 것이 적용 안되었던 문제
2. spark-master.sh를 통해서 서버 log를 작성하는 dir이 만들어지는데 이게 권한이 없어서 error가 나는 문제
3. API endpoint error

### 1. Dockerfile에서 ENV에 설정해둔 것이 적용 안되었던 문제


 ![](https://cdn.lablup.com/kangmin_intern_review_img03_bc695e0496.png) 

1번은 진짜 이게 어이없는 삽질이였던게 어떻게~~~해도해도 안되서 여쭤보니.. 그냥 내 backend.ai 버전이 너무 뒤쳐져있었던 것이 문제였다. 이미 이전에 고쳐진 bug였는데 devOps 경험이 일천한 나머지 자주 pull을 해야하는 것을 몰랐다. git pull하고 version conflict나는 것들을 해결해주니 바로 해결되었다...

### 2. Permission denied 문제
2번 문제는 /opt 하단에 spark 바이너리 파일들과 패키지 라이브러리들이 존재하는데 Backend.ai 에서 부여하는 권한으로는 /opt에 read, execute만 가능할 뿐 write하는 권한이 없었다.

 ![](https://cdn.lablup.com/kangmin_intern_review_img04_dec30ff6cb.png) 

보안 개념상으로는 당연한 얘기이다. 그래서 이를 해결하기 위해서 bootstrap.sh 파일을 이용해 container가 켜지는 동시에 /opt/spark 디렉토리를 /home/work 아래로 copy하게 했었다. 근본적인 해결책은 아니였지만 먹히긴 했다(후술하겠지만 이렇게 해결하진 않았고 다른 3번 에러와 맞닿드리면서 이 방법도 바꾸었다).

### 3. API endpoint error

 ![](https://cdn.lablup.com/kangmin_intern_review_img05_9a40b93a00.png) 

이 문제는 app이 부팅하는데 시간이 걸려서 나는 문제였다. 그럼 시간이 안걸리게 바로 켜지게 하면 되잖아?! 이런 생각 하에

 ![](https://cdn.lablup.com/kangmin_intern_review_img06_fd7cda18b7.png) 

이렇게 container가 켜지자마자 start-master.sh를 실행해버렸다. 에러 안뜨고 잘 실행은 되었지만.. 시니어 분께서 '패키지 바이너리가 홈 디렉토리 하단에 들어갈 필요가 없다' 고 말씀하셔서 2,3번을 모두 같이 고쳐야만 했다. 즉 최적화 작업에 들어갔다.

## Optimize kernel image
일단 패키지 바이너리를 home에서 빼면 bootstap.sh에서 copy하는 부분을 없애야 했고 이렇게 되면 2번 문제가 해결이 되지 않았다. (~~아ㄴ ㅣ.. 다시 되돌아가라고..?!!~~) **다행스럽게도 해결방법은 있었다.** 이런 spark와 같이 **규모가 큰 프로젝트는 따로 작업 디렉토리를 지정할 수 있는 방법이 있을거다**라는 힌트를 주셨다. 역시 찾아보니 그러한 방법이 있었다. spark-env.sh에서 export SPARK_LOG_DIR 을 이용해 위치를 따로 지정해줄 수 있었다. 이를 bootstarp.sh에 추가하여 해결하였다. 그리고 이렇게 함으로써 spark를 work권한으로 실행할 수 있게되었다.[^1]

[^1]: https://hoyy.github.io/posts/spark-start-install-standalone



 ![](https://cdn.lablup.com/kangmin_intern_review_img07_f47ac09f67.png) 

그리곤 pyspark를 jupyter notebook과 연동되게끔 만들어보자는 task도 같이 진행했다. 이건 쉬웠던 것이 Dockerfile에서 pip install을 통해 받아온 후 backend.ai로 jupyter notebook을 실행하면 아래와 같이 문제 없이 잘 실행되었다.

 ![](https://cdn.lablup.com/kangmin_intern_review_img08_06ca94268e.png) 

마지막으로 Dockerfile의 overlayfs을 특성을 이용해서 최대한 docker images들에 올라와 있는 나머지 image들과 비슷하게 Dockerfile을 작성했다.

 ![](https://cdn.lablup.com/kangmin_intern_review_img09_5c9c418f9d.png) 

최대한 다른 이미지들과 같은 부분을 그대로 이용하고 그 이후에 달라지는 부분을 뒤로 미뤄야했다. 이렇게 해야만 resource들을 아낄 수 있다. container가 작은 size일 경우에는 아무 문제가 없지만.. image가 점점 쌓이고 나중엔 크기가 40~50G가 될 경우엔 낭비되는 자원이 꽤 크게 될 것이기에 이런 최적화 작업이 중요하다. [^2][^3][^4]

[^2]: https://devaom.tistory.com/5
[^3]: https://www.joinc.co.kr/w/man/12/docker/storage
[^4]: https://blog.naver.com/alice_k106/221530340759

## Contribution
온갖 고생 끝에 만든 Apache-Spark 커널 이미지를 merge 하는데 마침내 성공하였다.

 ![](https://cdn.lablup.com/kangmin_intern_review_img10_0a1c0f1197.png) 

## 후기
이번 인턴십에서는 **backend.ai** 라는 product을 다루고 사람들이 바로 사용할 수 있는 커널 이미지를 만들어서 기여한 매우 뜻깊은 경험이였다. 코로나의 여파로 회사에 출근해서 일 하는 것이 더 즐거웠을 정도로, 대다수는 재택근무였다. 마지막 날 정규님의 말씀하신게 **직접 오프라인에서 인턴분들이 모르는 부분에 대해서 질문도하고 우리가 답변도 하고 이런 심도있는 인턴십이 이뤄지지 못한 것이 아쉽다**였는데, 무척 공감되는 말씀이였다.

재택에서 근무가 이뤄지다보니 회사에서 일 할때랑은 **집중력의 차이**가 심하였다. 거의 체감상 1.5배? 로 더 힘들었던 것 같다.
다음에는 정말 오프라인에서 마주보면서 이런저런 이야기도 하고, 개발 외적인 여러 말씀도 들을 기회가 있었으면 좋겠다.
**좋은 곳에서 훌륭하신 분들과 일할 수 있어 유익한 경험이었다.**


래블업 2020년 겨울 인턴십 후기입니다. Backend.AI용 Apache Spark 같은 커널 이미지를 만들고 문제를 해결하며 겪은 과정을 정리했습니다.

래블업에서의 2020년 겨울 인턴십 회고

인턴의 시선으로 바라본 성장과 배움을 기록합니다.