資深 AWS 資料工程師
資深 AWS 資料工程師，負責推動 GFT Technologies 的 Lakehouse 平台現代化。 建置 Python 與 PySpark 資料管線，支援資料治理、分析與 AI。
說明
- 使用 ETL 工具蒐集、整理及處理大型資料集。
- 將客戶的業務目標轉化為資訊管理與商業智慧策略。
- 建置並維護資料管線，確保資訊存取安全。
- 根據蒐集的資料建立指標與儀表板，維護資訊品質與完整性。
- 透過 Lakehouse 架構、治理、品質管理，以及為分析和 AI 做好準備，協助推動資料平台現代化。
- 為業務團隊、儀表板及報表設計維度模型。
- 參與資料生命週期的各個階段，涵蓋資料擷取與處理、儲存、轉換、使用及治理。
- 使用 Python、PySpark 和 AWS 服務建置並調校資料管線。
- 使用 Apache Iceberg 管理分析資料表，包括版本管理、結構描述演進、分割及效能調校。
- 使用 Athena、Trino、Presto 或 Spark SQL 等引擎，查詢 Parquet 和 ORC 等欄式格式中的大型資料集。
- 實作單元測試與效能測試、安全實務、存取控制及雲端監控。
- 提升資料流程的品質、可追溯性、完整性與效率。
職位要求
- 具備使用 ETL 工具蒐集、轉換及載入資料的經驗。
- 具備使用 Python 和 PySpark 的經驗。
- 具備使用 AWS 服務的經驗，例如 Glue、EMR、Athena、SNS、Lambda、Step Functions、S3、Lake Formation、IAM 和 CloudWatch。
- 了解 MongoDB、DynamoDB 等 NoSQL 資料庫及相關 Hadoop 技術。
- 具備 Lakehouse 架構和 Apache Iceberg 經驗，包括分析資料表管理、版本管理、結構描述演進、分割及效能調校。
- 具備使用 Athena、Trino、Presto 或 Spark SQL 等大規模查詢引擎的經驗。
- 了解 Parquet 和 ORC 等欄式資料格式。
- 具備維度建模經驗，包括事實、維度、粒度、索引鍵、階層、指標及 KPI。
- 具備處理結構化、半結構化及非結構化資料的經驗。
- 了解單元測試和效能測試。
- 具備在雲端環境中實施安全實務、存取控制及監控的經驗。
- 具備 AWS Cloud Practitioner 和 AWS Data Engineer 認證者尤佳。
- 具備資料品質及資料可觀測性經驗者尤佳。
- 了解 Terraform 等基礎架構即程式碼工具，以及 CloudWatch 等監控工具者尤佳。
- 了解 Data Mesh 者尤佳。
- 了解如何將人工智慧應用於資料者尤佳。
- 具備問題解決能力。
- 能獨立工作並有效管理時間。
福利待遇
- 多功能福利卡，可彈性選擇消費方式及地點。
- 提供大學部、研究所、MBA 課程及語言課程獎學金。
- 提供支援專業認證的計畫。
- 彈性工時。
- 具競爭力的薪酬。
- 年度績效考核及完善的職涯發展計畫。
- 國際職涯機會。
- 可使用 Wellhub 和 TotalPass。
- 私人退休金計畫。
- 育兒補助。
- 醫療保險。
- 牙科保險。
- 人壽保險。
