資深資料工程師
打造雲端原生資料平台與近即時資料管線，同時現代化 Spark 和 PySpark 工作負載。 帶動 AI 工具與代理式工作流程的採用，並參與技術研究與開發。
說明
- 從初始設計到正式上線，打造可擴充的雲端原生資料平台。
- 採用事件驅動模式開發近即時資料擷取管線。
- 制定並維護資料湖、湖倉、獎章架構與資料契約的平台標準。
- 提升 Spark 和 PySpark 指令碼的效能與可維護性。
- 在各資料管線中建立程式碼品質、測試與 CI/CD 實務。
- 在資料工程團隊內推廣 AI 工具與代理式工作流程。
- 維護各平台與管線的資料品質、可觀測性、可擴充性與可靠性。
- 建立自助工具與微服務，讓平台更易於使用。
- 與產品、機器學習及資料科學團隊合作。
- 參與架構決策以及技術研究與開發。
職位要求
- 具備至少五年的專業資料工程經驗。
- 具備紮實的 Python 和 SQL 開發技能。
- 具有 Apache Spark 和 PySpark 實務經驗，包括查詢最佳化與效能調校。
- 具備 Databricks 或 Snowflake 使用經驗。
- 具備至少一種主要雲端服務供應商的實務經驗：Azure、AWS 或 GCP。
- 具備 Kafka 或 Spark Structured Streaming 等串流處理工具的經驗。
- 了解 ETL/ELT 模式、資料建模與資料倉儲。
- 使用過 Apache Airflow 或 Azure Data Factory 等協調工具。
- 了解 Terraform 等基礎架構即程式碼工具。
- 了解正式環境系統，包括可觀測性、可擴充性、可靠性與效能。
- 能獨立帶領技術計畫，從構想到交付。
- 具備良好的溝通與協作能力。
- 英語程度達中高級或以上。
福利待遇
- 可遠端工作。
