데이터 엔지니어 이력서 예시

데이터를 안정적으로 흐르게 만드는 데이터 엔지니어 채민규입니다. 2018년부터 야간 배치 운영, 데이터 마트 구축, 웨어하우스 구조 정리, 스트리밍 수집까지 데이터 전반의 흐름을 다루어 왔습니다. 현재는 이레데이터웍스에서 Airflow DAG 214개와 일 3억 건 규모의 이벤트 파이프라인, 테이블 1,240개 규모의 웨어하우스를 운영하고 있습니다. 파이프라인 연결을 넘어, 장애 원인을 추적하고 재처리 범위를 줄이며 운영자가 빠르게 판단할 수 있는 구조를 만드는 데 초점을 맞추고 있습니다. 운영 환경에서는 처리 속도와 안정성 사이의 기준을 먼저 세웠습니다. Airflow DAG 214개의 재시도와 의존성 규칙을 다시 정의하면서 일간 실패 건수를 37건에서 4건으로 줄였고, 실패 알림에 담당자와 복구 절차 링크를 추가하여 평균 복구 시간을 72분에서 21분으로 단축했습니다. 웨어하우스의 경우 테이블 1,240개의 파티션과 클러스터링 기준을 재설정하여 상위 40개 쿼리의 스캔량을 평균 68% 줄였으며, 월 쿼리 비용을 1,840만 원에서 720만 원으로 낮추는 성과를 거두었습니다. 실시간 수집 환경에서는 Kafka 토픽 38개와 초당 평균 3,400건의 데이터를 처리하면서 스키마 레지스트리를 도입해 스키마 불일치 장애를 월 6건에서 0건으로 없앴습니다. 속도 향상과 더불어 장애 복구 및 데이터 신뢰성을 함께 확인하는 것이 제 업무의 핵심 기준입니다. [핵심 역량] - Airflow DAG 214개 및 일 3억 건 규모 배치 파이프라인 운영 - 배치 장애 원인 분석 및 평균 복구 시간 72분에서 21분 단축 - 웨어하우스 테이블 1,240개 구조 및 쿼리 비용 정리 - Kafka 토픽 38개 기반 실시간 이벤트 수집 구축 - 핵심 테이블 96개 품질 규칙 341건 적용

큐브웨이브의 사내 데이터 플랫폼 재구축은 수집 도구 도입보다 데이터의 생성 경로와 변환 과정, 그리고 장애 복구 체계를 정립하는 일이 중요하다고 판단하여 지원했습니다. 데이터 플랫폼이 여러 팀의 분석과 의사결정에 활용되려면 처리량은 물론 데이터 품질, 비용, 운영 책임의 경계가 명확해야 합니다. 저는 배치와 스트리밍 파이프라인을 운영하면서 이 세 가지 요소를 별도 과제가 아닌 하나의 운영 기준으로 다루어 왔습니다. 플랫폼의 초기 구조를 설계하고 운영 규칙을 정립하는 데이터 엔지니어 직무는 지금까지의 경험과 맞닿아 있습니다. 기존 환경에서는 DAG 수가 늘어날수록 실패 원인과 재처리 범위를 찾는 시간이 함께 증가했습니다. 그래서 Airflow DAG 214개의 재시도와 의존성 규칙을 재정의하고, 공통 오퍼레이터 9종을 작성했습니다. 그 결과 일간 실패 건수는 37건에서 4건으로 줄었고, 신규 DAG 작성 소요는 2일에서 4시간으로 단축되었습니다. 웨어하우스 비용 문제에는 무조건 저장 공간을 줄이는 방식 대신 사용 이력과 쿼리 패턴을 기준으로 접근했습니다. 상위 40개 쿼리의 스캔량을 평균 68% 줄이고 사용 이력이 없는 테이블 312개를 정리한 결과, 월 쿼리 비용은 1,840만 원에서 720만 원으로 감소했습니다. 데이터 품질 프로젝트에서는 핵심 테이블 96개에 품질 규칙 341건을 적용하고 검사 실패 시 하위 작업을 중단하도록 설계하여, 대시보드 지표 오류를 분기 5건에서 0건으로 줄였습니다. 큐브웨이브에서도 처리량 확대와 운영 리스크 감소를 같은 기준으로 비교하며 플랫폼 구조를 만들어 갈 계획입니다.

데이터 플랫폼은 기술 구성만으로 운영되지 않으며, 사용자가 데이터의 의미와 책임 범위를 명확히 파악할 수 있어야 합니다. 사내 데이터 카탈로그에 테이블 설명 640건과 컬럼 설명 3,100건을 정리해 원본 탐색에 필요한 정보를 누구나 쉽게 검색할 수 있도록 만들었습니다. 데이터 마트 구축 과정에서는 지표 정의 문서 32건을 작성하면서 부서 간 지표 정의 차이 11건을 해소했습니다. 신규 입사자가 운영 흐름을 직접 익힐 수 있도록 파이프라인 실습 과제 5종도 제작했습니다. 기술 변경 뒤 운영자가 어떤 판단을 해야 하는지 문서와 교육으로 남기는 것은, 플랫폼을 오래 유지하는 기준이 되었습니다.