AI 엔지니어(LLM/생성형) 이력서 예시

백엔드 개발자로 시작해 현재는 언어 모델을 제품 기능으로 연결하는 AI 엔지니어로 일하고 있습니다. 글마루소프트 재직 당시 상품 340만 건을 대상으로 검색 API를 개발했고, 동의어 사전 2,400건과 오타 교정 규칙 180건을 적용하면서 검색 결과 없음 비율을 12.4%에서 4.1%로 낮췄습니다. 평균 응답 시간은 420밀리초에서 130밀리초로 단축했고, 캐시 계층을 도입해 데이터베이스 조회 건수를 일 620만 건에서 210만 건으로 줄였습니다. 검색 품질과 시스템 응답성을 함께 관리했던 이 경험은, 현재 문서 기반 AI 기능을 설계하는 중요한 기준이 되었습니다. 가장 큰 변화는 라온에이아이에서 사내 문서 24만 건과 청크 186만 개를 대상으로 검색 증강 응답 기능을 구축하며 일어났습니다. 모델 출력의 변동성을 줄이고자 평가 문항 420개와 채점 기준 12항목을 먼저 만들었으며, 프롬프트 변경마다 동일한 평가 집합으로 결과를 비교했습니다. 근거 문서 적중률이 61%에 머물렀을 때는 질의 재작성과 검색 구성을 점검했고, 그 결과 짧은 질의 구간의 적중률은 44%에서 78%로, 전체 적중률은 61%에서 89%로 상승했습니다. 응답 생성 시간 또한 95백분위 기준 11초에서 3.4초로 단축했습니다. 품질만 높이는 선택 대신 응답 지연과 비용을 함께 확인해야 실제 제품에 적용할 수 있다는 기준을 가지고 있습니다. [핵심 역량] - 검색 증강 응답 기능 구축 - LLM 평가 하니스 및 채점 기준 설계 - 검색 API 품질 및 응답 시간 개선 - 모델 호출 비용 및 장애 대응 규칙 관리 - Python, TypeScript, SQL 기반 백엔드 개발

온새미로AI가 문서 기반 응답 제품을 개발하며 AI 엔지니어를 찾고 있다는 점에서, 제가 다뤄 온 문제와 직무의 접점을 확인했습니다. 문서 기반 AI 기능은 모델을 연결하는 데서 끝나지 않고, 어떤 문서를 근거로 선택했는지와 답변 품질을 어떻게 측정할지까지 제품 안에 포함해야 합니다. 라온에이아이에서 사내 문서 24만 건을 색인하고 사용자 620명에게 기능을 공개하면서, 주간 질의 4,800건의 사용 흐름과 평가 결과를 함께 확인했습니다. 상담 보조 기능에서는 상담사 38명이 사용하는 답변 초안 생성 기능을 개발해 일 생성 요청 2,100건을 처리했고, 초안 사용률은 47%에서 72%로 상승했습니다. 품질 개선과 운영 비용은 별도의 문제가 아니었습니다. 평가 문항 420개를 구축한 뒤 근거 문서 적중률을 61%에서 89%로 높였지만, 품질 지표만 보면 모델 호출량과 비용 증가를 놓칠 수 있었습니다. 프롬프트 정리와 컨텍스트 축약으로 요청당 평균 입력 토큰을 9,400개에서 3,600개로 줄였고, 월 모델 호출 비용을 940만 원에서 380만 원으로 낮췄습니다. 응답 품질을 유지하면서 비용을 관리해야 했기에 단순한 모델 교체보다는 평가 집합·프롬프트 변경 이력·비용 지표를 함께 기록하는 방식을 택했습니다. 온새미로AI의 제품에서도 검색 품질과 모델 비용을 같은 기준으로 비교하며, 재현 가능한 평가와 운영 가능한 기능을 만드는 것을 목표로 합니다.

모델 출력 평가 하니스 구축 프로젝트에서는 평가 문항 420개와 채점 기준 12항목을 바탕으로 자동 평가 파이프라인을 구성했습니다. 프롬프트 변경 1건당 평가 시간을 3일에서 40분으로 단축했고, 반복 실행 24회의 평균과 분산을 기록하는 리포트 양식을 확정하며 실행 이력 310건을 저장소에 축적했습니다. 가장 큰 변화는 체계적인 관리입니다. 사내 프롬프트 저장소에는 버전 174개를 변경 이력과 함께 관리하고 있으며, 상담 보조 기능에는 규정 위반 표현 차단 규칙 26종을 적용했습니다. 검수 기준 12항목을 정리해 검수자 4명이 동일한 기준으로 결과를 판단하도록 만들었습니다. 모델 변경보다 먼저 측정 기준과 기록 방식을 정하는 습관은, 현재 제가 업무를 수행하는 방식의 핵심입니다.