資深資料工程師 - 班加羅爾，印度（現場辦公）
為沃爾瑪的付款後稽核營運建置可擴充的批次與串流管道，以及生成式人工智慧資料產品。 提升付款準確性、對帳、回收流程與財務分析能力。
說明
- 為付款後稽核、付款完整性、供應商對帳、回收營運和財務分析建置並維護可擴充的批次、串流及近即時資料管道。
- 根據發票、採購訂單、收貨、供應商、索賠、定價和付款系統，開發經整理的資料集、語意模型、可用於特徵工程的資料表及可重複使用的資料產品。
- 使用 SQL、Python、PySpark、Apache Flink、dbt、編排工具、事件串流平台和雲端資料技術建立 ELT、ETL 及串流工作流程。
- 開發串流和變更資料擷取管道，實現事件時間處理、延遲資料處理、可重播性、冪等性、回填和故障復原。
- 使用 Apache Hudi、Apache Iceberg 或 Delta Lake 設計並營運湖倉資料產品。
- 建立資料品質檢查、對帳控制、結構描述驗證、資料血緣、監控、警示和可觀測性實務。
- 與財務、稽核、營運、產品、資料科學和工程團隊合作，交付可投入生產的資料解決方案。
- 支援異常偵測、例外優先排序、稽核規則、機器學習評分和生成式人工智慧工作流程。
- 建立自動化和資料服務，協助稽核團隊摘要證據、分流例外、提供調查背景並減少人工審查。
- 實作生成式人工智慧資料工程模式，例如支援檢索的文件儲存、嵌入向量管道、向量資料庫整合、詮釋資料豐富化和受治理的知識檢索。
- 改善批次與串流工作負載的可靠性、新鮮度、延遲、狀態管理、運算效率和下游可用性。
- 透過根因分析調查資料差異、管道故障、對帳不一致和來源系統問題。
職位要求
- 具備電腦科學、工程、資訊科技、資料工程、分析、數學、統計或相關領域學士學位，並有 6 年以上相關經驗；或具備碩士學位並有 4 年以上相關經驗，或具備博士學位並有 3 年以上相關經驗。
- 具備 SQL、Python、PySpark、Apache Flink 或同類串流處理框架，以及大規模分散式資料處理的實務能力。
- 具備 dbt 或同類轉換框架、Airflow 或類似編排工具、Kafka 或同等事件串流平台，以及 BigQuery、Hive 或 Spark 等雲端或企業資料技術經驗。
- 擁有設計、部署和支援生產批次與串流管道、ELT/ETL 工作流程、資料模型及可重複使用資料產品的經驗。
- 熟悉資料建模、分割、效能調校、增量處理、CDC、結構描述演進、資料契約、詮釋資料管理、資料血緣，以及包括 Apache Hudi、Apache Iceberg 或 Delta Lake 在內的湖倉格式。
- 具備為生產管道交付資料品質檢查、對帳邏輯、驗證框架、可觀測性、監控、警示和事件處理方案的經驗。
- 具備使用事件時間處理、有狀態轉換、檢查點、水位線、精確一次或有效一次處理，以及重播或回填策略開發串流解決方案的經驗。
- 具備處理來自多個來源系統的大型結構化和半結構化資料集的經驗，包括業務定義不一致的營運資料。
- 具備良好的協作能力，能夠跨財務、稽核、營運、產品、資料科學和工程團隊工作。
- 最低資格要求的替代方案包括：電腦科學學士學位並有 3 年軟體工程或相關經驗；5 年軟體工程或相關經驗；或電腦科學碩士學位並有 1 年軟體工程或相關經驗。
- 至少 2 年資料工程、資料庫工程、商業智慧或商業分析經驗。
福利待遇
- 績效型獎勵。
- 產假和育嬰假。
- 帶薪休假。
- 健康福利。