資料工程師 – 浦那，現場辦公
在浦那為 Merkle 建置以 AWS 為基礎的資料平台與 ETL 管道。開發 SQL 與 Python 解決方案，提升資料品質，並支援分析交付。
說明
- 在 AWS 上建立可擴充的 ETL 與 ELT 管道
- 為生產工作負載開發 SQL 轉換與 Python 資料管道
- 使用 AWS S3、Glue 與 EMR 建立資料擷取工作流程
- 設計支援分析的資料模型，同時平衡效能與成本
- 協助在多個環境中部署及執行管道
- 追蹤管道效能、可靠性與資料品質
- 調查管道故障並進行根本原因分析
- 採用可提升安全性、可靠性與可擴充性的工程實務
- 與架構師及產品團隊合作，釐清技術需求
- 將業務與分析需求轉化為實用的 AWS 資料解決方案
- 支援文件、程式碼審查與共用工程標準
- 在全球交付環境中，以個人貢獻者身分從事資料管道、雲端工程與分析賦能工作
職位要求
- 具備 3 至 7 年相關專業經驗
- 具備 AWS 資料服務的實務知識，包括 S3、Glue、Athena、Redshift 與 EMR
- 具備設計雲端原生資料湖與資料倉儲架構的經驗
- 了解批次處理，並基本熟悉串流概念
- 能熟練使用 SQL 進行複雜查詢、連接、彙總與轉換
- 曾使用 Redshift 或 Athena 處理大型資料集
- 能有效使用 Python 進行資料工程與 ETL 開發
- 具備 PySpark 或 Spark 經驗者佳
- 了解資料建模、轉換設計與效能調校
- 具備使用 Spark 或 PySpark 等分散式處理框架的實務經驗
- 熟悉處理結構化與半結構化資料
- 了解結構描述演進、資料品質檢查與驗證邏輯
- 具備使用 Terraform 和／或 CloudFormation 進行基礎架構即程式碼的工作知識
- 具備資料工作負載 CI/CD 管道的基礎經驗
- 了解使用 CloudWatch 進行記錄與監控
- 能與架構師、DevOps、QA 及業務利害關係人有效協作
- 能向不同受眾清楚說明技術概念
- 持有學士、碩士或同等學位
- 列有 AWS Certified Solutions Architect 或 DevOps – Professional 認證
- 列有 Snowflake Core 認證