Skip to Content
Data Engineering런칭 데이터와 공유 식별자의 글로벌 분석 연계
📊 Data Engineering2022년 9월 12일

런칭 데이터와 공유 식별자의 글로벌 분석 연계

#e-commerce#nike-korea-migration#data-pipeline#data-engineering
Nike Korea Platform Migration · Series 2 - 글로벌 마이그레이션 준비12 / 12Data Engineering
마이그레이션 이후 데이터도 새 체계로 전환되어야 했다. Nike가 글로벌 플랫폼으로 전환된 뒤, 한국 시장 데이터를 글로벌 ED&A 파이프라인에 연계하는 작업이 필요했다.

마이그레이션이 끝나면 데이터도 새로운 체계를 따라야 한다. Nike가 글로벌 플랫폼으로 전환된 후, 한국 시장의 데이터를 Nike의 글로벌 ED&A(Enterprise Data & Analytics) 파이프라인에 연결하는 작업이 필요했다. 특히 SNKRS/The Draw의 런칭 데이터(래플 결과, 참여율 등)와 글로벌 계정 연결 키를 통한 크로스 플랫폼 사용자 식별이 핵심이었다.

플랫폼 전환이 끝나도 데이터 연계가 끝나지 않으면 운영/마케팅 의사결정은 여전히 분절된 상태로 남는다.

이 글을 쓰는 이유는, 플랫폼 마이그레이션의 후속 작업으로서의 데이터 파이프라인 연결이 왜 중요한지, 그리고 이것이 단순한 기술 작업이 아니라 글로벌 분석 전략과 연결되는 비즈니스 의사결정이었다는 점을 기록하기 위해서다.

데이터 파이프라인은 눈에 보이지 않는 인프라이지만, 이것이 없으면 글로벌 차원의 한국 시장 분석이 불가능하다. 보이지 않는 곳에서 비즈니스를 지탱하는 기술의 한 사례를 기록한다.

Nike의 글로벌 ED&A 파이프라인은 전 세계 Nike 마켓의 사용자 행동, 매출, 상품 성과 등의 데이터를 수집하고 분석하는 중앙 시스템이다. 각국의 데이터가 이 파이프라인에 통합되어야 글로벌 차원의 분석(예: 한국과 일본의 SNKRS 참여율 비교)이 가능하다.

Breeze 시절에는 한국 데이터가 Breeze 자체의 데이터 구조(schema)로 관리되었고, 글로벌 ED&A 파이프라인과 직접 연결되어 있지 않았다. 마이그레이션 후 글로벌 플랫폼을 사용하게 되면서 데이터 구조가 변경되었고, 이 새로운 구조에 맞춰 ED&A 파이프라인에 데이터를 공급(feed)해야 했다.

글로벌 계정 연결 키는 Nike의 글로벌 사용자 식별자다. Breeze에서는 자체 사용자 ID를 사용했는데, 마이그레이션 시 이 ID를 글로벌 계정 연결 키에 매핑해야 했다. 이 매핑이 ED&A 파이프라인에서 정확하지 않으면, 같은 사용자의 행동이 두 명의 다른 사용자로 기록되거나, 사용자 여정(user journey) 분석이 불가능해진다.

런칭 데이터가 글로벌 분석에 필요한 이유

SNKRS/The Draw의 런칭 데이터는 Nike의 핵심 비즈니스 인텔리전스 자산이다. 래플 참여율, 당첨률, 참여자의 인구통계학적 분포, 런칭 상품의 수요 예측 등의 데이터는 글로벌 차원의 수요 계획(demand planning)에 직접 활용된다. 한국 시장의 런칭 데이터가 글로벌 파이프라인에 빠져 있으면, 글로벌 분석에 한국이 공백으로 남는다.

예를 들어, 특정 모델의 글로벌 수요를 예측할 때 한국의 래플 참여 데이터가 포함되어야 정확한 예측이 가능하다. 한국은 스니커즈 시장에서 중요한 마켓 중 하나이므로, 이 데이터의 부재는 글로벌 의사결정의 정확도를 떨어뜨린다.

공유 식별자 매핑과 크로스 플랫폼 사용자 추적

글로벌 계정 연결 키는 Nike의 글로벌 사용자 식별 체계다. 한 사용자가 nike.com, SNKRS 앱, Nike Run Club 등 여러 Nike 접점(touchpoint)을 이용할 때, 같은 키로 동일 사용자임을 식별하여 통합된 사용자 여정을 분석할 수 있다.

Breeze에서는 자체 사용자 ID 체계를 사용했으므로, 마이그레이션 시 Breeze 사용자 ID와 글로벌 계정 연결 키 간의 매핑 테이블을 생성해야 했다. 이 매핑이 ED&A 파이프라인에 정확하게 반영되어야, 마이그레이션 전후의 사용자 행동을 하나의 연속된 여정으로 분석할 수 있다. 매핑 누락이나 오류가 있으면, 마이그레이션 전과 후의 데이터가 단절된다.

파이프라인 실행 단계

식별자 매핑 정합성 확보

원천 ID와 글로벌 계정 연결 키를 배치 단위로 검증한다.

스키마 변환

Breeze 이벤트/주문 구조를 글로벌 표준 스키마로 변환한다.

적재 및 모니터링

ED&A 파이프라인 적재 후 누락률/중복률/지연 시간 SLA를 모니터링한다.

대시보드 교차 검증

원천 로그와 글로벌 대시보드 수치를 비교해 왜곡 여부를 확인한다.

데이터 포맷 변환: Breeze 스키마 → 글로벌 스키마

Breeze의 데이터 스키마와 글로벌 플랫폼의 데이터 스키마는 달랐다. 같은 ‘주문’이라도 필드 이름, 데이터 타입, 코드값(예: 주문 상태 코드)이 다를 수 있다. ED&A 파이프라인에 데이터를 공급하려면 글로벌 스키마에 맞게 변환(transformation)해야 했다.

이 변환 작업은 단순한 필드 매핑을 넘어서, 비즈니스 로직의 변환도 포함했다. 예를 들어, Breeze에서 ‘결제 완료’와 ‘배송 시작’이 한국 특유의 PG 상태 코드로 표현되어 있었다면, 이를 글로벌 표준 상태 코드로 변환해야 했다. 이 매핑 규칙을 정의하고 검증하는 작업이 상당한 시간을 소요했다.

파이프라인 연결 후 검증

파이프라인 연결 후에는 데이터가 정확하게 흐르는지를 검증해야 했다. 글로벌 분석 대시보드에서 한국 데이터가 올바르게 표시되는지, 숫자가 Breeze 또는 글로벌 플랫폼의 원본 데이터와 일치하는지를 확인했다. 데이터 파이프라인은 지연(latency)이 있으므로, 데이터가 파이프라인을 통과하여 대시보드에 반영되기까지의 시간도 측정했다.

파이프라인 문제는 조용하게 발생한다. 데이터가 잘못 변환되거나 누락되어도, 누군가 대시보드의 숫자가 이상하다고 알아차리기 전까지는 문제를 인식하지 못한다. 그래서 파이프라인 모니터링(데이터 건수 추이, 변환 오류 로그 등)을 설정하는 것이 중요했다.

분석 파이프라인 연계도 서비스 전환의 부수 작업이 아니라 런칭 이후 가시성과 추적성을 결정하는 핵심 구조였다.

파이프라인 설계의 장단점

식별자 결합 기반 파이프라인의 장점은 사용자 단위 분석 정확도를 유지할 수 있다는 점이다. 런칭 데이터와 계정 맥락이 연결되면 전환 전후 비교, 세그먼트 분석, 운영 지표 해석이 훨씬 안정적이 된다.

단점은 정합성 검증 비용이 커진다는 점이다. 키 매핑이 어긋나면 분석 결과 전체가 왜곡될 수 있어, 추출·변환·적재 단계마다 품질 검증을 반드시 넣어야 한다. 그래서 이 영역은 기능 개발보다 데이터 품질 운영이 중심이 된다.

품질 리스크와 대응

리스크감지 지표대응 방식
키 매핑 누락/오매핑누락률, 중복률, 조인 실패율매핑 규칙 보정 + 재처리 배치
스키마 변환 오류필수 필드 null 비율, 타입 불일치변환 규칙 버전 관리 + 샘플 검증
적재 지연SLA 초과 건수지연 알림 + 재시도/큐 튜닝

파이프라인 품질 체크포인트

  • 글로벌 계정 연결 키 매핑 누락률과 중복률을 배치마다 모니터링했다.
  • 런칭 이벤트 기준 건수를 원천 로그와 대시보드 값으로 교차 검증했다.
  • 지연 시간(SLA) 기준을 두고 적재 지연이 임계치를 넘으면 알림을 발생시켰다.

데이터 연계 설계 비교

접근장점한계
식별자 결합 중심 파이프라인사용자 단위 분석 정확도 향상매핑 정합성 검증 비용 증가
채널별 독립 파이프라인구현 단순성전환 전후 사용자 연속성 분석 한계
Last updated on