遠端資料工程分析師——AWS 與 Spark
為 Blend360(人工智慧服務供應商)打造可擴充的 AWS 資料管線與資料湖架構。 為全球客戶開發以 Spark 為基礎的處理流程與可靠資料解決方案。
說明
- 建置並維護可擴充的資料管線與資料擷取架構。
- 支援批次、串流及變更資料擷取(CDC)處理。
- 使用 Apache Spark 和 PySpark 建立並最佳化資料工作流程。
- 使用 Amazon S3 和 Apache Iceberg 實作並管理 AWS 資料湖。
- 使用 AWS Glue 協調 ETL,並透過 Athena 執行無伺服器查詢、透過 Lambda 進行事件驅動處理。
- 使用 AWS IAM 設定資料存取控制與安全性。
- 與分析師、資料科學家及平台工程師合作釐清需求,交付可用於正式環境的解決方案。
- 監控管線狀態並排除資料品質問題。
- 提升資料可靠性與新鮮度。
- 記錄資料流程、架構決策及工程標準。
職位要求
- 具備 AWS 服務的進階實務經驗,例如 Glue、S3、Athena 和 IAM。
- 具備使用 Apache Spark 和 PySpark 處理資料的經驗。
- 了解資料湖架構;具備 Apache Iceberg 經驗者優先。
- 具備批次、串流及變更資料擷取(CDC)擷取模式的經驗。
- 能使用 SQL 進行查詢、驗證及探索性分析。
- 了解資料建模與大規模資料處理。
- 能與跨職能團隊有效合作。
- 能向非技術利害關係人清楚說明技術概念。
- 具備基礎架構即程式碼或 Airflow、Step Functions、dbt 等協調工具經驗者加分。
- 熟悉 AI 輔助開發工作流程與工程生產力工具。
- 具備進階英語能力,能與全球團隊溝通。
- 具備至少兩年資料工程或相關職務經驗。
- 具備建置及維護雲端資料管線與 AWS 資料湖架構的實務經驗。
福利待遇
- 總部每日供應午餐,包含素食、純素、無麩質及無糖選項。
- 每週五可在總部享用由駐點主廚準備的精緻餐點。
- 提供彈性工作方式。
- 提供 MacBook 和配件。
- 總部每日備有零食和飲料。
- 總部舉辦下班後活動、足球、網球及遊戲之夜。
- 可參加週三及週五的足球聯賽。
- 可參加撞球活動及辦公室獎盃競賽。
- 可使用網球場進行友誼賽。
- 提供西洋棋錦標賽、遊戲之夜及音樂之夜。
- 提供 AWS 認證支援、讀書計畫、課程及其他認證支援。
- 提供英語課程。
- 可透過 Tech Tuesdays 參與同儕學習。
- 提供導師指導與發展機會。
- 提供週年紀念及生日禮物。
- 在交通便利的地點與優秀團隊共事。
相關職缺
找不到職缺
嘗試調整或清除篩選條件,以查看更多機會。
