추천과 컴퓨터 비전 모델을 서비스 환경에 배포하고 운영해 온 머신러닝 엔지니어 백승우입니다. 빛나로보틱스에서 부품 외관 이미지 42만 장과 결함 유형 11종을 활용해 검사 모델을 개발하고, 이를 검사 장비 8대에 배포했습니다. 현장 조명 차이와 라벨 품질이 모델 성능에 직접적인 영향을 준다는 점을 확인한 뒤, 증강 기법 6종과 라벨링 가이드를 적용했습니다. 모델 성능이 개선되었습니다. 그 결과 검출 재현율은 88.4%에서 96.2%로 높아졌고, 오검출률은 7.1%에서 2.3%로 낮아지는 성과를 거두었습니다.
모루테크에서는 일 요청 4,200만 건 규모의 추천 API를 운영하며 모델 서빙, 재학습, 품질 모니터링을 담당하고 있습니다. 피크 초당 1,900건을 처리하는 환경에서 응답 시간과 비용을 동시에 줄여야 했기에, 모델 양자화와 배치 추론을 도입했습니다. 그 결과 응답 시간 95백분위는 340밀리초에서 78밀리초로 단축되었고, GPU 인스턴스는 12대에서 5대로 줄었습니다. 모델 변경이 서비스 지표에 미치는 영향을 확인하기 위해 카나리 배포와 9종의 입력 분포 변화 지표를 도입했습니다. 이상 감지 후 롤백 소요 시간은 12분에서 90초로 줄었고, 성능 저하 조기 감지 7건의 평균 대응 시간은 6시간에서 45분으로 단축되었습니다.
[핵심 역량]
- 대규모 추천 API 모델 서빙 및 성능 개선 (일 요청 4,200만 건, 피크 초당 1,900건)
- 모델 양자화·배치 추론 기반 응답 시간 단축 (95백분위 340밀리초 → 78밀리초)
- GPU 인프라 운영 비용 절감 (12대 → 5대, 월 3,100만 원 → 1,240만 원)
- 재학습 파이프라인 및 피처 스토어 구축 (재학습 주기 2주 → 1일)
- 모델 배포·품질 모니터링과 롤백 절차 구축
센텀비전랩이 추천 영역을 새로 구축하는 단계에서 필요한 것은 모델의 오프라인 성능 확인을 넘어, 데이터 수집부터 학습·서빙·모니터링까지 연결되는 운영 구조라고 판단했습니다. 추천 시스템은 사용자 요청이 몰리는 순간의 응답 시간, 모델 변경 후의 클릭 지표, 학습과 서빙 사이의 피처 일치 여부를 함께 관리해야 합니다. 모루테크에서 일 요청 4,200만 건 규모의 추천 API를 운영하며 이 문제를 직접 다뤘습니다. 초기에는 서빙 지연과 GPU 비용을 동시에 낮춰야 했고, 응답 시간만 줄이면 비용 절감이 제한되며 인스턴스만 줄이면 안정성이 떨어질 수 있었습니다. 모델 양자화와 배치 추론을 선택한 결과, 95백분위 응답 시간을 340밀리초에서 78밀리초로 줄였고 GPU 인스턴스도 12대에서 5대로 축소했습니다.
모델 배포만으로는 운영 기준이 완성되지 않았습니다. 배포 후 문제가 발생했을 때 원인을 구분하고 이전 모델로 되돌릴 수 있어야 했습니다. 카나리 배포를 도입해 전체 트래픽에 바로 적용하는 방식을 피했고, 이상 감지 시 롤백 소요 시간을 12분에서 90초로 단축했습니다. 재학습 측면에서는 피처 스토어를 도입해 월 14건 발생하던 피처 불일치를 0건으로 낮췄고, 재학습 주기도 2주에서 1일로 줄였습니다. 추천 후보 생성 프로젝트에서는 상품 임베딩 480만 건에 근사 최근접 검색을 적용해 후보 생성 시간을 210밀리초에서 34밀리초로 단축하면서 후보 집합을 2,000개에서 300개로 줄였고, 최종 클릭률은 유지했습니다. 센텀비전랩에서도 모델 정확도와 서비스 지표 사이의 차이를 확인하면서, 제품 요구사항에 맞는 서빙 구조와 검증 절차를 설계할 계획입니다.
모루테크에서 사내 모델 배포 체크리스트 19항목을 정리해 표준 절차로 등록했고, 월 1회 학습 비용 리포트를 발행하며 GPU 사용량 상위 5개 작업을 공유했습니다. 실험 이력은 640건을 보관했습니다. 오프라인 평가와 온라인 지표의 차이를 정리한 문서 3편을 작성하면서, 모델 성능을 넘어 변경 이력·비용·배포 후 지표를 함께 확인하는 기준을 세웠습니다.
운영 과정에서 확인한 문제들을 문서와 지표로 남겨, 다음 배포의 판단 근거로 활용하려 합니다.