[업스테이지] [독파모] AI Research Engineer - LLM Evaluation & Analysis 공고 분석

이 자리가 왜 생겼을까요

1하게 될 업무

• Solar와 글로벌 프론티어 모델을 다양한 관점에서 비교·분석하고, 평가에서 얻은 인사이트를 모델 개발팀과 공유해 데이터와 학습 방법을 비롯한 모델의 기술적 개선 방향을 결정하는 데 기여합니다.

  이렇게 볼 수 있어요

  평가 결과가 점수표로 끝나지 않고 다음 모델의 데이터와 학습 방법을 정하는 근거로 넘어갑니다. 평가에서 찾은 약점이 실제 학습 데이터나 레시피 변경으로 이어진 경험이 있다면 그 연결 과정을 구체적으로 적을 수 있습니다.

• 지식·추론 능력, 인간 선호도 정렬(Human Preference Alignment), 그리고 검색, 과학·연구, 코드 작성 및 개발 지원, 실제 업무 수행 같은 다양한 Agent 활용 시나리오에서의 성능을 평가하는 벤치마크와 평가 툴킷을 연구·개발합니다.

  이렇게 볼 수 있어요

  Agent 평가는 모델이 주어진 환경에서 얼마나 효과적으로 문제를 해결하는지를 본다고 적었습니다. 정답 비교만이 아니라 도구 호출과 여러 단계의 실행 결과로 채점하는 평가 환경을 만들어 본 경험이 있다면 채점 기준과 다룬 시나리오를 구체적으로 적을 수 있습니다.

• 다국어(한국어, 일본어 포함) 평가에서의 언어 편향성, 문화·언어 이해도와 인간 선호도 측정 방식, 기존 평가 방법론의 신뢰성과 한계를 분석하고, 새로운 벤치마크와 평가 방법론을 연구·개발하며 필요하면 평가 데이터를 구축하고 개선합니다.

  이렇게 볼 수 있어요

  업스테이지에 따르면 일본용 모델 Syn Pro는 2025년 11월 일본에서 국산 기반 모델로 인정받았습니다. 영어 벤치마크를 다른 언어로 옮길 때 생기는 편향을 측정하거나 현지 문화 이해를 묻는 평가 데이터를 만들어 본 경험이 있다면 언어와 규모를 함께 밝힐 수 있습니다.

• 대규모 벤치마크를 안정적으로 실행하기 위한 평가 플랫폼과 인프라를 설계·고도화하고, 평가 및 분석 자동화, 분산 환경 평가 파이프라인 구축, 결과 수집 및 분석 시스템 개선을 수행합니다.

  이렇게 볼 수 있어요

  연구 주제와 함께 평가를 대규모로 돌리는 시스템도 이 팀이 만듭니다. 여러 GPU나 노드에 평가 작업을 나눠 돌리고 결과를 모으는 파이프라인을 만들어 본 경험은 이 시스템을 만드는 일과 직결됩니다.

• 문제를 정의하고 가설을 세우는 것부터 실제 모델을 대상으로 실험하고 결과를 분석해 다음 모델의 개발 방향으로 연결하는 Research Engineering의 전체 과정을 경험합니다.

  이렇게 볼 수 있어요

  우대 사항에도 가설을 세우고 실험을 설계해 결과를 분석하는 역량이 있습니다. 가설이 틀렸던 평가 실험에서 무엇을 바꿨는지까지 이어서 설명하면 문제 정의부터 다음 방향 결정까지가 한 사례 안에서 드러납니다.

• Representative projects로 Automatic quality assessment system development, Agent evaluation framework development, Solar safety benchmark development, Solar edge-case benchmark development, Complex structured text generation benchmark development를 들었고, 프로젝트는 기술 흐름과 상황에 따라 바뀌며 각 시점에 LLM 모델 발전에 가장 영향력 있는 기술 요소에 집중한다고 적었습니다.

  이렇게 볼 수 있어요

  안전성과 엣지 케이스 벤치마크는 Solar 전용으로 적혀 있습니다. 비슷한 주제로 벤치마크를 직접 설계해 본 적이 있다면 어떤 실패를 잡으려고 문항을 만들었는지가 인터뷰 대화의 출발점이 됩니다.

2자격 요건

• 'Strongly wanted'로 AI 모델 평가 및 분석과 관련된 주제로 국제 학회에 논문을 게재한 경험(공저자 포함)을 적었습니다.

  이렇게 볼 수 있어요

  벤치마크나 평가 방법론 논문에서 데이터 구축, 실험 설계, 분석 가운데 맡은 부분은 공저자 논문이라도 업무의 평가 데이터 구축·방법론 연구와 이어지는 경험으로 적을 수 있습니다.

• 'Strongly wanted'의 다른 경로로, ML/NLP 관련 주제로 국제 학회에 논문을 게재한 경험(제1저자 또는 교신저자)을 적었습니다.

  이렇게 볼 수 있어요

  평가가 아닌 주제의 논문이라도 그 연구에서 성능을 어떻게 측정했는지, 기존 평가 방식에서 어떤 한계를 봤는지는 이 팀의 평가 방법론 업무가 그대로 다루는 질문입니다.

3우대 사항

• AI 모델 평가를 위한 데이터 수집·생성·정제 및 품질 관리 경험을 'May helpful'로 적었습니다.

  이렇게 볼 수 있어요

  업무에 필요하면 평가 데이터를 구축하고 개선하는 일이 있습니다. 평가셋을 만들며 라벨 일치도나 학습 데이터 오염 여부를 검사한 방식이 있다면 그 기준을 구체적으로 적을 수 있습니다.

• Tool Use를 포함한 Agent 시스템 또는 워크플로우를 설계·개발한 경험을 우대합니다.

  이렇게 볼 수 있어요

  대표 프로젝트에 Agent evaluation framework가 있습니다. Agent를 만들며 본 실패 지점을 평가 시나리오로 옮겨 본 경험이 있다면 그 시나리오를 예로 드는 게 좋습니다.

• Failure Analysis를 위해 개별 평가 결과와 모델 출력을 깊이 있게 분석하고 의미 있는 인사이트를 도출하는 역량을 우대합니다.

  이렇게 볼 수 있어요

  업무에는 평가 인사이트를 모델 개발팀과 공유해 개선 방향을 정하는 일이 있습니다. 오답을 유형별로 묶어 모델 개발팀에 넘긴 분석 문서가 있다면 그 분류 기준을 예로 들 수 있습니다.

• 논리적인 가설을 세우고 이를 검증하기 위한 실험을 설계해 결과를 분석하는 역량을 우대합니다.

  이렇게 볼 수 있어요

  평가 방법 자체에 대한 가설(예를 들어 이 벤치마크가 실제 업무 능력을 반영하는가)을 세우고 검증해 본 일은 이 팀이 다루는 평가 방법론의 신뢰성 분석과 같은 종류입니다.

• 복잡한 평가 및 데이터 처리 과정을 체계화하고 재현 가능한 프로세스로 정리하는 역량을 우대합니다.

  이렇게 볼 수 있어요

  대규모 벤치마크를 안정적으로 돌리는 평가 플랫폼이 업무에 있습니다. 시드 고정, 버전 관리, 설정 파일로 같은 평가를 누가 돌려도 같은 결과가 나오게 만든 경험은 이 플랫폼을 고도화하는 일에 바로 필요합니다.

• 실험 과정에서 얻은 인사이트와 배운 점을 명확하게 공유하고 동료들과 효과적으로 논의하는 역량을 우대합니다.

  이렇게 볼 수 있어요

  평가 결과를 모델 개발팀과 공유하는 것이 팀 소개에 나온 이 팀의 역할입니다. 다른 팀이 결과를 보고 학습 방향을 바꾼 공유 사례가 있다면 그때 쓴 형식(리포트, 대시보드)을 함께 들 수 있습니다.

4기타 사항

• 게시일 : 2026년 5월 19일
• 고용형태 : 정규직
• 근무지 : 서울특별시 강남구 테헤란로7길 22 한국과학기술회관 2관 (추정)
• 경력 조건 : 경력 무관
• 학력 조건 : 해당 내용은 원본 공고에서 확인되지 않습니다.

전형과 지원

업스테이지의 기본 영입 절차는 다섯 단계이고, 채용 FAQ는 서류 전형부터 최종 합격까지 약 4~5주가 걸린다고 안내합니다. 공고마다 과제와 인터뷰 구성이 달라서 지원할 공고의 모집 절차를 따로 확인해야 합니다.

지원 전 준비할 것

1. 1

   직접 만든 평가셋 하나 정리하기

   대표 프로젝트 다섯 가운데 셋이 벤치마크 개발이고, 그 가운데 safety와 edge-case 둘은 Solar 벤치마크로 적혀 있습니다. 만든 평가셋의 목적, 문항 수, 채점 방식, 그 결과로 모델이 어떻게 바뀌었는지를 한 쪽 분량으로 정리합니다.

2. 2

   논문마다 저자 순서 표시하기

   'Strongly wanted' 항목은 평가 주제 논문이면 공저자까지, 그 밖의 ML/NLP 논문이면 제1저자나 교신저자를 적었습니다. 논문마다 주제와 저자 순서를 나란히 적어 두면 두 경로 가운데 어느 쪽인지 바로 알 수 있습니다.

3. 3

   딥러닝 코딩테스트 손 풀기

   알고리즘 테스트와 따로 딥러닝 코딩테스트가 있습니다. 내용은 공고에 없으므로 모델 추론과 점수 계산 코드를 직접 짜 보며 대비합니다.