데이터 분석가 1차 면접은 모델 지표나 실험 결과가 나오면 그 기준을 왜 그렇게 잡았고 그 숫자로 어떤 결정을 내릴 수 있었는지를 깊게 묻는 경우가 많습니다. 이 예시의 공고는 식품 구독 서비스의 메뉴 선택·평점 데이터로 메뉴 구성을 개선할 사람을 찾았고 dbt 기반 지표 모델링을 우대했는데, 이력서에서 두 경험이 확인되지 않아 질문이 됐습니다. 아래는 데이터 분석가 6년차가 한소반의 구독 서비스 시니어 데이터 분석가 공고로 받은 1차 면접 준비 예시입니다.
면접 준비 기능은 지원한 회사의 채용공고와 내 이력서를 대조하고 회사의 공개 정보도 함께 살펴 질문을 만들어요. 이 예시의 회사와 채용공고는 예시를 위해 지어낸 것이라 이력서와 채용공고만으로 만들었어요.
경력 6년 5개월의 데이터 분석가로서 이탈 예측, A/B 테스트, 지표 대시보드, 분석 결과의 운영 반영 경험이 JD의 핵심 업무와 맞닿아 있습니다. 1차에서는 각 성과의 본인 기여와 판단 근거, 분석 결과가 실제 정책·서비스 변화로 이어진 과정을 깊게 확인할 가능성이 큽니다. 특히 모델의 오프라인 성능과 사업 성과의 연결, 파일럿 잔존율 해석, 메뉴·생산량 분석 경험의 공백을 준비해 주세요. 우대사항인 dbt, 인과 추론, 실험 플랫폼은 자료에서 확인되지 않으므로 유사 경험과 보완 계획을 사실에 맞게 설명하는 것이 중요합니다.
JD는 '구독 유지·이탈 분석과 이탈 위험 고객 정의, 대응 정책 제안'을 요구하며, 이력서에는 '고객 이탈 예측 모델 개발 및 배포'와 상위 변수를 활용한 '리타겟팅 캠페인 설계 근거 제공'이 기재되어 있습니다.
전략 · 「경력·프로젝트 검증」 1번과 「직무 역량·기술」 1번에서 마케팅팀의 요구, 90일 관측 기간과 time-based split을 택한 이유, PR-AUC·recall 기준의 모델 비교 순으로 설명해 주세요. 마지막에는 상위 변수가 타겟팅 기준 마련에 어떻게 쓰였는지 연결해 구독 이탈 대응까지 고려하는 분석가라는 인상을 남기세요.
JD는 'A/B 테스트 설계(표본 크기·검정력 산정)와 결과 해석'을 요구하며, 이력서에는 '검정력 80%' 기준 표본 산정, 개편안 B의 'p=0.02' 확인, 전체 적용 4주 뒤 전환율 3.6% 유지 확인이 기재되어 있습니다.
전략 · 「직무 역량·기술」 3번과 「행동·협업」 2번에서 기준 전환율과 최소감지효과, 표본 산정, 프로모션과 겹치지 않게 실험 구간을 정한 이유, 검정 결과와 후속 확인 순으로 말해 주세요. 사전 판단 기준부터 운영 반영 이후까지 설명해 실험을 의사결정으로 잇는 역량을 보여주세요.
한소반은 분석이 '메뉴 구성과 생산량, 배송 운영 같은 실제 결정'으로 이어지길 원하며, 이력서에는 배송 분석으로 '기사 1인당 배정 상한 22건'을 제안하고 적용 권역 클레임을 월평균 120건에서 78건으로 줄인 경험이 있습니다.
전략 · 「경력·프로젝트 검증」 3번에서 선형 분석으로 시작한 배경, 25건 초과 구간의 비선형 패턴 확인, 운영상 적용 가능한 22건 기준 제안, 적용 권역의 클레임 변화 순으로 설명해 주세요. 분석 선택이 현업 기준을 바꾸고 결과 확인으로 이어진 흐름을 분명히 보여주세요.
JD는 메뉴 선택·평점 분석을 요구하지만, 이력서에는 메뉴 단위 선택이나 평점과 재주문을 연결한 경험이 없습니다.
전략 · 「요구 대비 빈 자리」 1번의 준비를 따르되, 코호트 리텐션·카테고리별 LTV 대시보드에서 실제 정의하고 제공한 지표를 구체적으로 정리해 주세요. 메뉴 분석은 직접 해보지 않았다고 밝히고, 메뉴·고객 단위의 연결 기간과 평점 수, 선택 편향을 먼저 확인하겠다는 접근을 준비하세요.
이력서에는 이탈 모델을 '프로덕션 배포'하고 캠페인 설계 근거를 제공했다고 되어 있지만, 캠페인 후 이탈률이나 잔존율 변화는 제시되어 있지 않습니다.
전략 · 「경력·프로젝트 검증」 1번과 「직무 역량·기술」 1번의 준비를 따르면서 모델 성능과 캠페인 성과를 분리해 설명해 주세요. 실제 캠페인 효과가 측정되지 않았다면 그 사실을 명확히 하고, 다음 검증에서는 대상·비교군, 관찰 기간, 잔존율 등 사전 지표와 배정 방식을 어떻게 정할지 준비하세요.
익일 정산 파일럿에서 '비대상군보다 6%p 높게' 나타났다고 했지만, 이력서에는 비교군 구성이나 무작위 배정 여부가 드러나지 않습니다.
전략 · 「경력·프로젝트 검증」 2번의 준비를 따라 대상 선정, 비교 시점, 잔존율 정의와 해석 한계를 확인해 주세요. 무작위 배정이 아니었다면 인과 효과로 단정하지 말고, 파일럿 결과가 정책 검토의 참고 근거였음을 구분하세요. 면접 전에는 실제 비교군 선정 방식과 집단 간 차이를 확인해 설명할 수 있도록 준비하세요.
가상 모범 답변의 장면과 수치는 예시로 지어낸 내용이에요. 내 실제 경험으로 바꿔 말해 보세요.
그리니마켓 고객 이탈 예측을 중심으로, 마케팅팀의 사전 타겟팅 요구에서 출발해 90일 관측 기간, 시간 순서 분리, 로지스틱 회귀와 XGBoost 비교 순으로 설명해 주세요. PR-AUC와 recall을 택한 이유, 캠페인 대상 선정에 결과를 어떻게 제공했는지 사실로 채워 주세요.
정량적인 캠페인 효과를 직접 측정한 자료가 없다면, 모델 성능과 캠페인 성과를 구분해 설명하고 실제 활용 범위를 분명히 해 주세요. 대신 페이브릿지 이상거래 탐지에서 모델 결과를 룰 엔진에 반영한 선택을 비교 사례로 제시해 모델 점수와 운영 적용의 차이를 설명할 수 있습니다.
PR-AUC 0.61만 강조하고 실제로 어떤 고객을 어떤 기준으로 타겟팅할 수 있었는지 설명하지 않는 답변입니다.
저는 그리니마켓에서 마케팅팀의 사전 타겟팅 요구를 받아 최근 90일 구매·접속 로그로 이탈 예측 문제를 정의했습니다. 이 기간은 행동 변화를 포착하면서 캠페인 시점에 활용할 수 있도록 정했고, 유저별로 과거 데이터를 학습에, 이후 시점을 검증에 두어 미래 정보가 섞이지 않게 했습니다. 이탈 비율이 8%대라 정확도보다 PR-AUC와 재현율을 기준으로 로지스틱 회귀와 XGBoost를 비교했고, PR-AUC 0.61인 XGBoost를 선택했습니다. 상위 변수와 위험 점수를 캠페인 대상 설계에 제공했지만, 이 수치는 모델의 선별 성능이지 캠페인 효과는 아니라고 구분했습니다. 이후 실제 대응 성과까지 따로 검증해야 한다는 점을 배웠습니다.
페이브릿지 가맹점 이탈 분석과 익일 정산 파일럿을 중심으로 대상 선정, 비교 시점, 잔존율 정의, 사업팀에 전달한 결론을 순서대로 정리해 주세요. 무작위 배정이 아니었다면 그 사실과 해석 한계를 먼저 밝히고, 6%p를 어떤 의사결정 근거로 사용했는지 설명해 주세요.
파일럿 설계의 세부 근거가 불충분하다면, 한들로지스틱스의 기사 배정 상한 제안과 적용 권역의 월평균 클레임 변화를 대안으로 준비해 주세요. 적용 전후 비교의 한계를 인정하면서, 운영 정책이 바뀐 과정과 결과 확인 범위를 나눠 설명해 주세요.
6%p 차이를 무작위 실험으로 검증한 인과 효과처럼 단정하거나, 비교군 구성과 가맹점 간 차이를 설명하지 않는 답변입니다.
저는 페이브릿지에서 최근 6개월 거래액이 0이 된 가맹점 1,200곳을 분석해 정산 주기가 이탈과 관련된 신호라고 확인했습니다. 익일 정산 옵션 도입 가맹점 300곳의 도입일을 기준으로 3개월 뒤 거래가 유지된 비율을 계산하고, 같은 기간 거래 규모와 업종이 유사한 비대상 가맹점을 비교군으로 맞췄습니다. 잔존율 차이는 6%포인트였고, 무작위 배정이 아니므로 가맹점의 자발적 신청이나 거래 규모 차이가 결과에 영향을 줬을 가능성을 함께 전달했습니다. 그래서 이를 확정적인 인과 효과가 아니라 정책 확대를 검토할 근거로 사용했습니다. 비교 설계를 엄격히 할수록 분석의 결론도 정확해진다고 배웠습니다.
배송 데이터 약 18만 건 분석을 중심으로 선형 관계를 먼저 검토한 이유, 비선형 패턴을 확인한 방식, 22건을 제안할 때 고려한 운영 가능성을 설명해 주세요. 적용 권역과 월평균 클레임 120건에서 78건으로 변한 결과의 측정 범위도 구분해 주세요.
임계값을 선택한 세부 검증이 충분히 기억나지 않거나 자료에 없다면, 권역별·요일별 EDA와 배송 리포트 자동화 경험으로 보완할 수 있습니다. 분석 지표를 운영 담당자가 반복 확인할 수 있게 만든 과정과 실제 정책 기준은 면접 전에 구체적으로 정리해 주세요.
클레임이 약 35% 줄었다는 결과만 말하고 22건을 정한 근거, 적용 권역의 범위와 다른 요인의 가능성을 설명하지 않는 답변입니다.
저는 한들로지스틱스에서 특정 권역의 지연 클레임이 늘었다는 문의를 받아 최근 6개월 배송 약 18만 건을 분석했습니다. 먼저 거리와 배정 건수의 선형 관계를 확인했지만, 하루 25건을 넘는 구간에서 지연율이 급격히 높아져 구간별 지연율과 의사결정나무로 다시 살폈습니다. 위험이 커지기 전 운영 여유를 두고 성수기 권역의 상한을 22건으로 제안했습니다. 적용 권역에서는 월평균 클레임이 120건에서 78건으로 줄었고, 이는 해당 권역의 적용 전후 변화로 해석했습니다. 다른 운영 변화의 영향도 있을 수 있어 결과를 단일 조치의 효과로 단정하지 않았습니다. 현장에서 실행 가능한 기준과 측정 범위를 함께 제시해야 한다고 배웠습니다.
Redshift 쿼리 통합과 Looker 대시보드 구축을 중심으로, 재구매 주기와 코호트 LTV의 정의, 윈도우 함수·CTE로 쿼리를 통합한 이유, 40분에서 9분으로 단축된 결과를 설명해 주세요. 상품 기획팀이 실제로 검토한 결정과 대시보드 활용 수준을 사실대로 구분해 주세요.
상품 기획팀의 실제 결정 사례가 뚜렷하지 않다면, 페이브릿지의 거래 지표 대시보드를 대안으로 준비해 주세요. 영업팀과 지표 정의를 합의하고 지역별 자원 배분 논의에 활용된 경로를 설명해 의사결정 연결의 구체성을 보여 주세요.
갱신 시간이 줄었다는 기술 성과만으로 대시보드가 카테고리 확장 결정을 바꿨다고 주장하는 답변입니다.
저는 그리니마켓에서 재구매 주기와 코호트 LTV를 상품 기획팀이 비교할 수 있도록 지표 정의와 대시보드를 맡았습니다. 코호트는 첫 구매 월로 나누고, 이후 월별 재구매율과 누적 순매출 기준 LTV를 카테고리별로 비교하도록 구성했습니다. 서로 다르던 세 개의 산출 쿼리는 Redshift에서 CTE와 윈도우 함수로 통합해 로직 중복을 줄였고, 대시보드 갱신 시간은 40분에서 9분으로 단축했습니다. Looker에서 카테고리와 코호트를 함께 필터링하게 해 상품 기획팀이 신규 카테고리의 초기 재구매 흐름을 검토하는 자료로 활용했습니다. 분석은 지표 정의와 사용 맥락까지 설계해야 한다고 배웠습니다.
그리니마켓에서 최근 90일 구매·접속 로그를 사용해 고객 이탈 예측 문제를 정의한 경험을 중심으로, 라벨 정의와 예측 시점이 실제 프로젝트에서 어떻게 설정됐는지 설명해 주세요. 실제 자료에 있는 범위만 말하고, 캠페인 설계 근거와 모델 성능을 별도 결과로 구분해 주세요.
캠페인 효과를 직접 측정하지 않았다면, 페이브릿지의 가맹점 이탈 분석을 대안으로 사용해 이탈 시점 전후 3개월 비교, 정산 주기 변수 확인, 익일 정산 파일럿으로 이어진 흐름을 설명해 주세요. 면접 전에는 각 경험에서 이탈 라벨과 평가 시점이 무엇이었는지 정리해 두세요.
PR-AUC나 feature importance를 제시하는 것만으로 이탈 위험 고객 정의와 대응 정책의 효과까지 검증했다고 말하는 답변입니다.
저는 그리니마켓에서 최근 90일 구매·접속 로그를 바탕으로 이탈 예측 문제를 정의하고, 유저 단위 시간 분할로 미래 정보 누수를 막았습니다. 다만 실제 이력서에 기재된 범위에는 구체적인 이탈 라벨의 관측 기간과 캠페인 성과 검증 수치가 포함돼 있지 않아, 모델 결과와 대응 효과를 구분해 설명하겠습니다. 대응 실험을 설계한다면 먼저 해지 또는 일정 기간 무구매 중 사업적으로 의미 있는 이탈 정의를 합의하고, 예측 시점 뒤의 행동으로 라벨을 정하겠습니다. 위험군을 무작위로 캠페인군과 홀드아웃군에 나누고, 재구매율과 해지율, 증분 매출을 함께 비교하겠습니다. 모델의 선별력만으로 정책 효과를 주장하지 않는 것이 중요하다고 생각합니다.
직접적인 메뉴 평점 분석 경험은 자료에서 확인되지 않으므로, 그리니마켓의 코호트 리텐션·카테고리별 LTV 분석을 인접 경험으로 연결해 주세요. 고객과 메뉴의 분석 단위, 재주문 기간, 평점 수와 선택 편향을 어떻게 확인할지 제안하되 실제 수행 경험처럼 말하지 마세요.
상세페이지 A/B 테스트 경험을 다른 축으로 활용해, 메뉴 노출이나 선택 화면의 변경이 평점과 재주문에 미치는 영향을 어떻게 분리해 볼지 설명해 주세요. 관찰 분석과 무작위 실험을 구분하고, 메뉴 특성이나 프로모션 등 확인할 변수를 제안해 주세요.
평점 평균이 높으면 재주문도 높을 것이라고 전제하거나, 메뉴 평점·재주문을 직접 분석해 본 것처럼 설명하는 답변입니다.
저는 메뉴 평점과 재주문을 직접 연결해 분석한 경험은 없습니다. 가장 가까운 경험은 그리니마켓에서 코호트 리텐션과 카테고리별 LTV를 구성해 상품 기획팀이 성과를 비교하도록 지원한 일입니다. 한소반에서는 고객-메뉴 선택을 분석 단위로 두고, 첫 시식 뒤 4주와 8주 내 재선택 여부를 평점과 연결하겠습니다. 평점 평균뿐 아니라 응답 수와 분포를 함께 보고, 메뉴 노출량, 가격, 할인, 배송 권역, 구독 주차, 선택 가능한 메뉴 구성을 통제하겠습니다. 평점 응답자만의 선택 편향도 확인하겠습니다. 첫 1개월에 정의와 데이터 품질을 점검하고, 이후 메뉴별 재주문 지표를 정례화하겠습니다.
그리니마켓 상세페이지 개편 실험을 중심으로 기준 전환율, MDE, 검정력에서 표본 규모로 이어진 계산과 3주 실험 기간을 설명해 주세요. 실제 사용한 유의수준과 검정 종료 기준을 확인하고, 개편안 B의 3.2%에서 3.7%, p=0.02 결과와 4주 뒤 3.6% 유지 확인을 구분해 말해 주세요.
표본 수 계산의 구체적인 산식이나 도구가 바로 떠오르지 않는다면, 한들로지스틱스의 분석과 달리 이 실험에서 사전에 판단 기준을 고정한 점을 비교해 설명해 주세요. 면접 전 실제 표본 수, 배정 단위, 유의수준, 중간 확인 여부를 기록에서 확인해 두세요.
전환율이 0.5%p 올랐다는 사실만으로 성공을 선언하고, 표본 규모와 p값의 의미 또는 순차 적용 결과를 설명하지 않는 답변입니다.
저는 그리니마켓에서 기준 전환율 3.2%, 최소감지효과 0.5%포인트, 검정력 80%를 기준으로 상세페이지 실험의 표본 규모를 사전에 산정하고 3주간 진행했습니다. 이 기준으로 계산한 필요 표본을 확보한 뒤 카이제곱 검정으로 전환율을 비교했고, 개편안 B는 3.2%에서 3.7%로 올라 p값 0.02를 기록해 설정한 유의수준 5%에서 차이가 유의하다고 판단했습니다. 프로모션과 겹치지 않게 실험 구간도 조정했습니다. 전체 트래픽에 순차 적용한 뒤 4주 후 전환율 3.6%를 확인해 실험 결과와 적용 후 추이를 구분했습니다. 유의한 결과도 지속성을 확인해야 한다고 배웠습니다.
공공자전거 대여량 예측 개인 프로젝트를 중심으로 대여 이력과 기상 데이터를 결합한 이유, 선형·트리 모델 비교, 잔차 패턴 확인을 설명해 주세요. 한소반 상황에는 그대로 적용할 수 없는 차이를 밝히고, 메뉴별 예측을 어떤 기간·오차 지표로 검증할지 제안해 주세요.
실제 생산량 계획 경험이 없다면, 배송 지연 분석에서 운영 가능한 기준을 제안한 경험을 대안으로 삼아 분석 결과가 현장 제약과 맞아야 한다는 점을 설명해 주세요. 폐기와 품절의 비용 차이를 먼저 확인하고, 과거 메뉴 선택·주문 데이터로 검증할 계획을 경험과 계획으로 구분해 주세요.
공공자전거 예측을 식품 생산량 예측 경험으로 동일시하거나, 평균 오차만 제시해 폐기와 품절의 서로 다른 영향을 다루지 않는 답변입니다.
저는 개인 프로젝트에서 공공자전거 대여 이력에 기상 데이터를 결합해 시간대별 수요를 예측하고, 선형 모델과 트리 기반 모델의 잔차 패턴을 비교했습니다. 식품 메뉴 생산량을 예측한 경험은 아니므로, 한소반에서는 먼저 메뉴별 주문·선택·취소·품절·폐기와 날씨, 요일, 프로모션 이력을 주차 단위로 연결하겠습니다. 과거 주차로 학습하고 이후 주차를 검증해 누수를 막으며, 메뉴별 WAPE와 예측 편향을 확인하겠습니다. 폐기와 품절 비용이 다르므로 두 손실을 별도로 평가하고 생산팀과 허용 기준을 합의하겠습니다. 6주 정도의 병행 예측으로 오차와 운영 가능성을 점검한 뒤 주간 생산 계획에 연결하겠습니다.
그리니마켓의 코호트 리텐션·카테고리별 LTV 대시보드를 유사 경험으로 제시해 주세요. 카테고리 성과를 비교할 때 어떤 지표를 정의하고 상품 기획팀이 활용할 수 있게 구성했는지 설명한 뒤, 메뉴 선택·평점 분석은 직접 수행한 경력이 없다고 분명히 밝혀 주세요.
한들로지스틱스의 배송 분석에서 단순 평균 대신 구간별 패턴과 운영 기준을 찾은 경험으로 연결해 주세요. 한소반에서는 메뉴 선택, 평점, 재주문을 어떤 고객·메뉴 단위로 결합할지 먼저 확인하고, 평점과 실제 행동의 차이를 검증하겠다는 계획을 경험과 분리해 설명해 주세요.
카테고리별 LTV 분석을 메뉴 평점·선택 분석 경험이라고 바꾸어 말하거나, 메뉴 구성 개선을 직접 실행한 것처럼 주장하는 답변입니다.
저는 메뉴 선택과 평점을 재주문에 연결해 분석한 경험은 없습니다. 가까운 경험으로 그리니마켓에서 코호트 리텐션과 카테고리별 LTV를 정의해 Looker 대시보드로 제공했고, 상품 기획팀이 신규 카테고리의 초기 성과를 비교하도록 지원했습니다. 한소반에서는 첫 주문 메뉴 선택, 평점과 응답 수, 다음 주문에서의 재선택, 4주·8주 재주문을 고객-메뉴 단위로 연결하겠습니다. 가격과 할인, 메뉴 노출, 배송 권역, 구독 주차를 함께 확인해 선택 편향과 교란을 살피겠습니다. 입사 첫 달에 데이터 정의와 품질을 확인하고, 3개월 안에 메뉴 회의에서 쓸 지표와 분석 결과를 정례화하겠습니다.
그리니마켓의 Redshift 쿼리 통합 경험을 중심으로 중복 산출 로직을 하나로 정리하고 재구매 주기·코호트 LTV 지표를 대시보드로 제공한 과정을 설명해 주세요. dbt를 사용했다고 말하지 말고, 직접 관리한 SQL 모델과 지표 정의 범위를 구체적으로 밝혀 주세요.
페이브릿지 BigQuery 대시보드에서 영업팀과 거래 지표 정의를 합의한 경험을 대안으로 활용해 주세요. dbt 경험이 없다는 점을 인정한 뒤, 기존 SQL 모델 관리 방식과 새 환경의 테스트·의존성 관리 요구를 확인해 전환하겠다는 계획을 제시해 주세요.
CTE로 쿼리를 통합한 경험을 dbt 사용 경험으로 간주하거나, dbt의 프로젝트 구조와 운영을 해 본 것처럼 말하는 답변입니다.
저는 dbt를 사용한 경험은 없지만, 그리니마켓에서 Redshift의 재구매 주기와 코호트 LTV 산출 로직 세 개를 CTE와 윈도우 함수로 통합해 직접 관리했습니다. 지표의 기준을 맞추고 중복 계산을 줄여 Looker 대시보드 갱신 시간을 40분에서 9분으로 단축했습니다. 합류하면 첫 달에 기존 모델과 지표 정의, 갱신 주기, 검증 절차를 파악하고 현재 SQL 로직을 재사용 가능한 모델 단위로 정리하겠습니다. 이후 팀의 dbt 구조에 맞춰 의존 관계와 테스트 기준을 익히고, 핵심 구독 유지 지표부터 정의와 검증을 문서화하겠습니다. 익숙한 SQL 모델링 원칙을 dbt의 협업 방식으로 옮기겠습니다.
페이브릿지 이상거래 탐지 고도화를 중심으로 오탐 문제, 22개 변수 분석, 복잡한 모델 대신 상위 변수를 기존 룰에 반영한 이유를 설명해 주세요. 리스크팀 검토에서 나온 우려와 실제 합의 과정은 기억나는 사실만 사용하고, 본인이 결정한 부분과 팀이 결정한 부분을 나눠 주세요.
한들로지스틱스의 기사 배정 상한 제안 사례를 다른 축으로 준비해 주세요. 분석에서 제안한 기준과 현장 적용 가능성이 달랐던 지점이 있었다면 무엇을 조정했는지 설명하고, 구체 사례가 없다면 면접 전에 실제 협의 장면을 확인해 두세요.
모델의 feature importance만 강조하고 리스크팀이 왜 단순한 룰 기준을 필요로 했는지, 최종 결정에서 본인이 한 일이 무엇인지 빠뜨리는 답변입니다.
저는 페이브릿지에서 기존 이상거래 룰의 오탐 문제를 분석하며 결제 금액, 시간대, 기기 변경 이력 등 22개 변수를 비교했습니다. 변수 간 중복은 VIF로 확인하되 의미가 겹치는 결제 금액대 변수만 제거해 해석력을 유지했습니다. 복잡한 모델을 그대로 운영에 넣기보다 단기간 결제 빈도 급증과 신규 기기 최초 결제처럼 설명 가능한 상위 변수를 기존 룰 엔진에 반영하고 임계값을 조정했습니다. 리스크팀이 검토하기 쉽도록 변수의 의미와 탐지 기준을 함께 정리했고, 룰은 12개에서 7개로 단순화했습니다. 설명 가능성과 운영 적용성을 성능만큼 중요하게 보게 됐습니다.
그리니마켓 상세페이지 A/B 테스트를 중심으로 프로모션이 결과를 오염시킬 수 있다고 판단한 이유와 실험 구간을 조정한 과정을 설명해 주세요. 실제로 일정 조율이 있었다면 상대 부서의 요구, 제시한 근거, 최종 합의를 구분해 주세요.
일정 충돌이나 협의 과정이 자료에 분명히 없다면, 페이브릿지에서 리스크팀 검토를 거쳐 탐지 기준을 바꾼 경험을 대안으로 사용해 주세요. 어느 기준은 유지했고 어느 부분은 조정했는지 실제 있었던 내용만 정리하고, 없는 갈등을 만들어내지 마세요.
실험 기간을 조정한 사실만 말하고 누구와 어떤 근거로 합의했는지 설명하지 않거나, 자료에 없는 갈등 상황을 과장하는 답변입니다.
저는 그리니마켓에서 상세페이지 개편안을 비교할 때 프로모션이 실험 기간과 겹치면 할인과 유입 변화가 전환율에 섞일 수 있다고 판단했습니다. 기준 전환율 3.2%, 최소감지효과 0.5%포인트와 검정력 80%를 바탕으로 필요한 표본과 3주 기간을 먼저 산정하고, 프로모션과 겹치지 않도록 실험 구간을 조정했습니다. 그 조건에서 개편안 B의 전환율은 3.2%에서 3.7%로 개선됐고 p값은 0.02였습니다. 이후 전체 트래픽 적용 4주 뒤에도 3.6%를 확인했습니다. 실험 신뢰도를 지키면서 일정도 사전에 계산해 조정하면 사업 속도와 검증 품질을 함께 맞출 수 있다고 배웠습니다.