시니어 데이터 엔지니어 - 방갈로르, 인도(출근 근무)
월마트의 결제 후 감사 운영을 위한 확장 가능한 배치 및 스트리밍 파이프라인과 생성형 AI 데이터 제품을 구축합니다. 결제 정확성, 조정, 회수 프로세스 및 재무 분석을 개선합니다.
설명
- 결제 후 감사, 결제 무결성, 공급업체 조정, 회수 운영 및 재무 분석을 위한 확장 가능한 배치, 스트리밍 및 거의 실시간에 가까운 데이터 파이프라인을 구축하고 유지합니다.
- 송장, 구매 주문, 입고, 공급업체, 청구, 가격 책정 및 결제 시스템에서 정제된 데이터셋, 시맨틱 모델, 피처 생성용 테이블 및 재사용 가능한 데이터 제품을 개발합니다.
- SQL, Python, PySpark, Apache Flink, dbt, 오케스트레이션 도구, 이벤트 스트리밍 플랫폼 및 클라우드 데이터 기술을 사용해 ELT, ETL 및 스트리밍 워크플로를 생성합니다.
- 이벤트 시간 처리, 지연 데이터 처리, 재생 가능성, 멱등성, 백필 및 장애 복구를 지원하는 스트리밍 및 변경 데이터 캡처 파이프라인을 개발합니다.
- Apache Hudi, Apache Iceberg 또는 Delta Lake를 사용해 레이크하우스 데이터 제품을 설계하고 운영합니다.
- 데이터 품질 검사, 조정 제어, 스키마 검증, 계보, 모니터링, 알림 및 관측 가능성 관행을 수립합니다.
- 재무, 감사, 운영, 제품, 데이터 과학 및 엔지니어링 팀과 협업해 운영 환경에 배포할 수 있는 데이터 솔루션을 제공합니다.
- 이상 탐지, 예외 우선순위 지정, 감사 규칙, 머신러닝 스코어링 및 생성형 AI 워크플로를 지원합니다.
- 감사 팀이 증거를 요약하고, 예외를 분류하며, 조사 맥락을 제공하고, 수동 검토를 줄일 수 있도록 자동화 및 데이터 서비스를 구축합니다.
- 검색에 바로 사용할 수 있는 문서 저장소, 임베딩 파이프라인, 벡터 데이터베이스 통합, 메타데이터 보강 및 거버넌스된 지식 검색과 같은 생성형 AI 데이터 엔지니어링 패턴을 구현합니다.
- 배치 및 스트리밍 워크로드의 안정성, 최신성, 지연 시간, 상태 관리, 컴퓨팅 효율성 및 다운스트림 활용성을 개선합니다.
- 근본 원인 분석을 통해 데이터 불일치, 파이프라인 장애, 조정 불일치 및 소스 시스템 문제를 조사합니다.
지원 자격
- 컴퓨터 과학, 공학, 정보기술, 데이터 엔지니어링, 분석, 수학, 통계 또는 관련 분야의 학사 학위와 6년 이상의 관련 경력. 또는 석사 학위와 4년 이상, 박사 학위와 3년 이상의 관련 경력.
- SQL, Python, PySpark, Apache Flink 또는 이에 준하는 스트림 처리 프레임워크와 대규모 분산 데이터 처리에 대한 실무 역량.
- dbt 또는 이에 준하는 변환 프레임워크, Airflow 또는 유사한 오케스트레이션 도구, Kafka 또는 이에 상응하는 이벤트 스트리밍 플랫폼, BigQuery, Hive 또는 Spark와 같은 클라우드나 엔터프라이즈 데이터 기술 경험.
- 운영 환경의 배치 및 스트리밍 파이프라인, ELT/ETL 워크플로, 데이터 모델 및 재사용 가능한 데이터 제품을 설계, 배포 및 지원한 경력.
- 데이터 모델링, 파티셔닝, 성능 튜닝, 증분 처리, CDC, 스키마 진화, 데이터 계약, 메타데이터 관리, 계보 및 Apache Hudi, Apache Iceberg 또는 Delta Lake를 포함한 레이크하우스 형식에 대한 탄탄한 지식.
- 운영 파이프라인을 위한 데이터 품질 검사, 조정 로직, 검증 프레임워크, 관측 가능성, 모니터링, 알림 및 인시던트 해결 방안을 제공한 경험.
- 이벤트 시간 처리, 상태 저장 변환, 체크포인팅, 워터마킹, 정확히 한 번 또는 사실상 한 번 처리, 재생 및 백필 전략을 사용한 스트리밍 솔루션 개발 경험.
- 업무 정의가 일관되지 않은 운영 데이터를 포함해 여러 소스 시스템의 대규모 정형 및 반정형 데이터셋을 처리한 경험.
- 재무, 감사, 운영, 제품, 데이터 과학 및 엔지니어링 팀 전반에서 협업할 수 있는 뛰어난 역량.
- 최소 자격 요건의 대안으로 컴퓨터 과학 학사 학위와 3년의 소프트웨어 엔지니어링 또는 관련 경력, 5년의 소프트웨어 엔지니어링 또는 관련 경력, 또는 컴퓨터 과학 석사 학위와 1년의 소프트웨어 엔지니어링 또는 관련 경력이 인정됩니다.
- 데이터 엔지니어링, 데이터베이스 엔지니어링, 비즈니스 인텔리전스 또는 비즈니스 분석 분야에서 최소 2년의 경력.
복리후생
- 성과 기반 인센티브 보상.
- 출산휴가 및 육아휴직.
- 유급 휴가.
- 건강 관련 복리후생.