[카카오] AI Platform 추론 최적화 Engineer(경력) 공고 분석

이 자리가 왜 생겼을까요

1하게 될 업무

• LLM 추론 엔진을 기반으로 AI 서빙 플랫폼을 설계하고 최적화합니다.

  이렇게 볼 수 있어요

  모델 하나를 서빙하는 일보다 여러 팀이 함께 쓰는 플랫폼을 만드는 일에 가깝습니다. 공고에 실린 크루의 한마디에도 단일 서비스보다 공통 플랫폼을 만드는 데 더 큰 가치를 둔다는 말이 있습니다.

• vLLM, SGLang, TensorRT-LLM 같은 오픈소스 추론 엔진을 도입하고 적용해 운영합니다.

  이렇게 볼 수 있어요

  엔진을 고르는 단계부터 운영까지 맡습니다. 여러 엔진을 비교해 하나를 골라 본 적이 있다면 비교한 지표와 고른 이유까지 적어야 합니다.

• 캐시, 배칭, 양자화, 커널 최적화 같은 기법을 적용해 LLM 추론 성능을 높입니다.

  이렇게 볼 수 있어요

  기법 이름보다 적용 전후의 차이가 중요합니다. 어떤 기법으로 처리량이나 지연 시간이 얼마나 바뀌었는지 숫자로 남겨 둔 사례가 있으면 이 업무를 해 본 경험으로 내세울 수 있습니다.

• Tensor·Pipeline·Expert·Sequence Parallelism과 MoE 라우팅을 포함한 분산 추론 전략을 설계하고 구현합니다.

  이렇게 볼 수 있어요

  모델이 GPU 한 장에 들어가지 않는 규모를 전제로 한 업무입니다. 병렬화 방식을 고를 때 무엇을 비교했는지가 설계 경험의 중심입니다.

• 추론 워크로드의 latency, throughput, TTFT, TPOT 같은 성능 지표를 측정하고 개선합니다.

  이렇게 볼 수 있어요

  공고가 지표 이름을 넷이나 적었습니다. 평소 서빙 품질을 관리할 때 쓴 지표를 공고에 적힌 이름 그대로 쓰면 서류와 면접에서 같은 용어로 설명할 수 있습니다.

• Kubernetes 기반 LLM 서빙 인프라를 구축하고 운영하며 자동화합니다.

  이렇게 볼 수 있어요

  GPU 노드를 Kubernetes 위에서 다루는 일까지 이 팀이 맡습니다. 배포나 장애 복구를 자동화한 경험이 있다면 무엇을 자동화했고 운영 부담이 얼마나 줄었는지 숫자로 남겨 둘 필요가 있습니다.

• 라우팅, 오토스케일링, 로드밸런싱, 요청 스케줄링 같은 서빙 시스템 기능을 개발합니다.

  이렇게 볼 수 있어요

  엔진 바깥에서 요청을 나누고 자원을 늘리거나 줄이는 층입니다. 트래픽이 몰릴 때 GPU를 어떻게 배분했는지 같은 운영 사례는 처리한 요청 규모가 있어야 정확합니다.

• 코드 리뷰, 테스팅, 지속적인 통합(CI)과 지속적인 배포(CD)로 서비스 품질을 지킵니다.

  이렇게 볼 수 있어요

  연구 코드가 아니라 운영 서비스의 개발 방식을 요구합니다. 리뷰와 테스트를 거쳐 배포까지 이어지는 흐름을 직접 만들어 봤다면 그 흐름도 경력의 한 항목입니다.

2자격 요건

• Python 또는 Go로 시스템·백엔드·ML 시스템을 개발한 경력이 5년 이상이어야 합니다.

  이렇게 볼 수 있어요

  연차를 세는 대상이 ML 연구가 아니라 시스템 개발입니다. 두 언어 가운데 하나로 운영 시스템을 만든 기간을 따로 적어 두면 이 조건을 확인하기 쉽습니다.

• Transformer 아키텍처와 어텐션, KV cache, 디코딩 전략 같은 LLM 동작 원리를 깊이 이해해야 합니다.

  이렇게 볼 수 있어요

  최적화 기법을 쓰는 데서 그치지 않고 그 기법이 왜 통하는지까지 묻는 조건입니다. KV cache 크기나 디코딩 방식이 지연 시간을 어떻게 바꿨는지 경험으로 말할 수 있으면 이 이해를 보여 줄 수 있습니다.

• vLLM, SGLang, TensorRT-LLM, TGI 가운데 하나 이상을 실제 프로덕션이나 대규모 실험 환경에서 운영해 본 경험이 필요합니다.

  이렇게 볼 수 있어요

  네 엔진 가운데 하나 이상이라고 적었습니다. 로컬에서 돌려 본 경험과 구별되도록 운영한 기간과 처리한 요청 규모를 밝히는 편이 정확합니다.

• Nsight, NCU, PyTorch Profiler 같은 도구로 GPU 환경에서 성능을 프로파일링하고 최적화해 본 경험이 필요합니다.

  이렇게 볼 수 있어요

  도구 이름이 공고에 그대로 적혀 있습니다. 프로파일링으로 찾은 병목과 그것을 고친 방법을 한 사례로 묶어 두면 됩니다.

• K8s를 깊이 이해해야 합니다.

  이렇게 볼 수 있어요

  업무의 서빙 인프라가 Kubernetes 위에 있습니다. GPU 워크로드를 클러스터에 올려 운영해 본 경험이 있다면 클러스터 규모와 맡은 범위를 적어야 합니다.

• 클라우드 환경에서 CI/CD를 다뤄 본 경험이 필요합니다.

  이렇게 볼 수 있어요

  이 요건은 업무 마지막 항목의 CI/CD와 같은 내용입니다. 파이프라인을 만든 도구와 배포 주기를 적으면 다뤄 본 범위가 분명해집니다.

• 새로운 환경에 도전하는 오픈 마인드를 가진 분이어야 합니다.

  이렇게 볼 수 있어요

  크루의 한마디는 최신 기술을 실험하고 플랫폼에 내재화하는 환경이라고 소개했습니다. 최근 새로 들여와 실제 환경에 적용한 기술이 있다면 그 기술을 고른 이유와 적용한 범위를 정리합니다.

3우대 사항

• vLLM, SGLang, TensorRT-LLM, Hugging Face Transformers, PyTorch 같은 LLM/ML 오픈소스 프로젝트에 PR 머지, RFC 작성, 메인테이너 활동, 이슈 트리아지처럼 의미 있게 기여해 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  공고가 기여의 형태까지 적었습니다. 머지된 PR이나 작성한 RFC가 있다면 링크를 붙이는 것이 가장 확인하기 쉬운 방법입니다.

• CUDA·Triton 커널을 직접 작성하거나 튜닝해 본 경험과, Python·C++·CUDA·Go·Rust 같은 여러 프로그래밍 언어를 거부감 없이 쓰는 분을 우대합니다.

  이렇게 볼 수 있어요

  엔진보다 한 단계 아래인 커널까지 다룰 수 있는지를 묻습니다. 직접 쓴 커널이 있다면 개선 폭을 숫자로 적고, 언어는 실제로 써 본 프로젝트와 연결해 적어야 합니다.

• Speculative Decoding, Mixture-of-Experts, FlashAttention, PagedAttention, RadixAttention 같은 LLM 추론 가속 기법을 실무에 적용해 본 경험과, LLM 추론 성능 논문을 읽고 구현·재현해 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  논문의 기법을 실제 서빙에 옮겨 본 경험을 봅니다. 재현한 결과가 논문 수치와 달랐다면 그 차이를 어떻게 해석했는지도 면접에서 꺼낼 만한 이야기입니다.

• AWQ, GPTQ, FP8, INT4, SmoothQuant, Pruning, Distillation 같은 모델 양자화·압축 실무 경험을 우대합니다.

  이렇게 볼 수 있어요

  양자화와 압축 기법 이름을 일곱 가지 적었습니다. 줄인 메모리와 속도에 더해 품질을 어떤 평가로 확인했는지를 적으면 속도만 높인 경험과 구별됩니다.

• Tensor·Pipeline·Expert Parallelism이나 Disaggregated Prefill-Decode 같은 대규모 분산 추론을 설계·운영해 본 경험, 수십~수백 GPU 이상의 대규모 GPU 클러스터에서 추론 워크로드를 운영해 본 경험, RDMA·RoCE·InfiniBand·NCCL 튜닝 같은 고성능 네트워킹이나 네트워크 트러블 슈팅 경험을 우대합니다.

  이렇게 볼 수 있어요

  팀은 수천 장 규모의 GPU 클러스터를 운영합니다. 다뤄 본 GPU 수와 노드 사이 통신에서 생긴 문제를 어떻게 풀었는지를 숫자로 적으면 규모를 가늠할 수 있습니다.

• NVIDIA Triton Inference Server, KServe, Ray Serve, vLLM Production Stack, LLM-D 같은 서빙 플랫폼을 구축해 본 경험과 ML·AI 동작에 대한 높은 이해를 우대합니다.

  이렇게 볼 수 있어요

  서빙 플랫폼 이름을 다섯 가지 들었습니다. 플랫폼을 직접 구축했다면 몇 개 팀이나 모델이 그 위에서 돌았는지까지 적으면 규모가 보입니다.

4기타 사항

• 게시일 : 2026년 6월 11일
• 고용형태 : 정규직
• 근무지 : 판교
• 경력 조건 : 경력 5년 이상
• 학력 조건 : 해당 내용은 원본 공고에서 확인되지 않습니다.

쓰는 기술

공고 본문에 적힌 기술만 모은 목록입니다.

• Python
• Go
• vLLM
• SGLang
• TensorRT-LLM
• TGI
• Kubernetes
• Nsight
• NCU
• PyTorch Profiler
• CUDA
• Triton
• PyTorch
• Hugging Face Transformers
• NVIDIA Triton Inference Server
• KServe
• Ray Serve
• vLLM Production Stack
• LLM-D
• NCCL
• C++
• Rust

전형과 지원

카카오 기본 전형은 서류, 1차 인터뷰, 2차 인터뷰, 입사 확정 순이고 직군에 따라 코딩테스트나 과제 전형이 앞에 붙습니다. 공고마다 사전 인터뷰나 현장 과제가 더해지므로 지원하려는 공고의 전형 안내를 함께 봐야 합니다.

지원 전 준비할 것

1. 1

   프로파일링 사례 하나

   Nsight나 PyTorch Profiler로 병목을 찾아 고친 사례를 골라 측정한 지표, 원인, 적용한 기법, 전후 수치 순서로 정리해 두세요.

2. 2

   운영해 본 엔진과 규모

   vLLM, SGLang, TensorRT-LLM, TGI 가운데 운영해 본 엔진마다 기간, 모델 크기, GPU 수, 요청 규모를 표로 만들어 두면 서류와 인터뷰에서 같은 숫자를 쓸 수 있습니다.

3. 3

   IF KAKAO 발표 보기

   공고가 링크한 IF KAKAO 2024 'Kakao AI Platform 소개'와 IF KAKAO 2025 'GenAI를 위한 Gateway'를 보면 팀이 이미 만든 구조를 알고 과제와 인터뷰에 들어갈 수 있습니다.