[토스] Search Quality Operations Manager 공고 분석

이 자리가 왜 생겼을까요

1하게 될 업무

• 검색 Relevance 정답셋을 대규모로 생산하는 체계를 설계하고 운영합니다.

  이렇게 볼 수 있어요

  정답셋은 검색 결과가 질의에 맞는지를 판정한 데이터입니다. 이 자리는 판정을 직접 하는 사람보다 판정을 대량으로 만들어 내는 체계를 설계하는 쪽에 가깝습니다. 데이터 라벨링이나 평가 프로젝트를 운영해 본 경험은 처리한 건수와 기간이 그 규모를 말해 줍니다.

• 토스 쇼핑의 검색 품질을 개선해 비즈니스 임팩트를 만드는 것이 목표입니다.

  이렇게 볼 수 있어요

  정답셋을 만드는 데서 끝나지 않고 검색 품질 개선이 사업 지표로 이어지는 것까지 목표에 들어 있습니다. 평가 데이터가 실제 검색 개선에 쓰여 클릭이나 구매 같은 지표가 바뀐 사례가 있다면 이 목표와 바로 연결됩니다.

2자격 요건

• 검색 품질 관리, 정보검색(IR), 추천, 데이터 분야에서 경력을 쌓아 온 사람을 찾습니다.

  이렇게 볼 수 있어요

  네 분야 가운데 한 곳의 경력으로도 이 요건을 채울 수 있습니다. 연차는 적혀 있지 않으므로 연차보다 어느 분야에서 무엇을 다뤘는지가 먼저 보여야 합니다.

• 검색 품질 평가 및 relevance 판정 기준을 수립하고, 평가자 간 편차를 통제해 데이터 품질을 관리해 본 사람이 필요합니다.

  이렇게 볼 수 있어요

  기준을 만드는 일과 그 기준이 평가자마다 다르게 적용되지 않게 관리하는 일이 함께 요구됩니다. 평가자 간 일치도를 재고 가이드를 고쳐 편차를 줄인 경험이 있다면 고치기 전후의 일치도를 함께 쓰는 것이 좋습니다.

• 검수 인력을 채용, 교육, 관리하며 조직을 키우고 프로세스를 표준화·확장해 본 사람이 필요합니다.

  이렇게 볼 수 있어요

  사람을 뽑고 가르치는 관리 경험이 자격 요건에 들어 있습니다. 검수 조직이 몇 명에서 몇 명으로 늘었고 그 과정에서 어떤 교육 자료나 절차를 만들었는지가 이 요건을 보여 줍니다.

• 운영 프로세스를 지표 기반으로 평가하고 지속적으로 개선한 경험이 필요합니다.

  이렇게 볼 수 있어요

  운영의 효율과 품질을 숫자로 관리해 왔는지를 봅니다. 처리량, 정확도, 재작업률처럼 직접 정의해 추적한 지표가 있다면 그 지표를 바꾼 개선 사례와 묶어 적어야 지표 기반 개선이라는 점이 보입니다.

• LLM을 데이터 생산 및 평가에 활용하거나, LLM이 만든 결과를 사람이 검증하는 구조를 설계해 본 경험이 필요합니다.

  이렇게 볼 수 있어요

  두 경험 가운데 하나를 요구합니다. 토스 커머스 Commerce Search Relevance Silo의 ML Engineer (Search Relevance) 공고도 LLM 레이블링 프롬프트와 휴먼 레이블링 루프를 함께 운영한다고 적었으므로, LLM 판정과 사람 판정이 서로 다를 때 어떻게 처리했는지까지 설명할 수 있어야 합니다.

3우대 사항

• 커머스 도메인에서 상품 속성, 패싯(Facet) 데이터를 구축, 검수하거나 검색에 활용해 본 경험이 있으면 좋습니다.

  이렇게 볼 수 있어요

  검색 품질이 질의만이 아니라 상품 데이터의 정리 상태에도 달려 있다는 점을 보여 주는 우대입니다. 색상이나 사이즈 같은 상품 속성을 정리해 필터나 검색 결과를 낫게 만든 경험은 상품 속성을 검색에 활용해 본 경험으로 쓸 수 있습니다.

• 커머스 검색 Knowledge Management, 즉 사전, 온톨로지, 지식그래프 등 검색 지식을 관리·구축해 본 경험이 있으면 좋습니다.

  이렇게 볼 수 있어요

  동의어 사전이나 카테고리 체계를 만들어 본 경험이 여기에 들어갑니다. 사전에 등록한 항목 수와 그로 인해 결과가 없던 검색이 얼마나 줄었는지 같은 숫자가 있으면 구체적인 근거가 됩니다.

4기타 사항

• 게시일 : 2026년 7월 30일
• 고용형태 : 정규직
• 근무지 : 서울특별시 강남구 테헤란로 142 (역삼동, 아크플레이스) (추정)
• 경력 조건 : 해당 내용은 원본 공고에서 확인되지 않습니다.
• 학력 조건 : 해당 내용은 원본 공고에서 확인되지 않습니다.

전형과 지원

토스커뮤니티는 합류 여정을 한 페이지로 공개해 두었습니다. 공통 골격은 같지만 계열사와 공고에 따라 단계가 더해지거나 빠지므로, 공고 페이지에 적힌 단계를 함께 확인해야 합니다.

지원 전 준비할 것

1. 1

   판정 기준과 편차 관리 사례 정리하기

   relevance 판정 기준을 만든 경험이 있다면 기준 문서의 구조, 애매한 사례를 처리한 규칙, 평가자 간 편차를 잰 방법을 나눠 정리해 두세요. 자격 요건이 기준 수립과 편차 통제를 한 문장에 묶어 요구하므로 둘을 함께 설명할 수 있어야 합니다.

2. 2

   검수 조직을 키운 과정 숫자로 쓰기

   검수 인력을 채용하고 교육한 경험은 인원, 교육 기간, 처리량 변화를 숫자로 적는 게 좋습니다. 표준화한 프로세스가 있다면 표준화 전후로 무엇이 달라졌는지도 함께 보여 주세요.

3. 3

   LLM과 사람의 검증 구조 설명해 보기

   LLM으로 데이터를 만들거나 평가해 본 경험이 있다면 어떤 비율로 사람이 다시 검증했고 LLM 판정의 오류를 어떻게 찾아냈는지 정리해 두면 직무 인터뷰에서 쓸 수 있습니다.