
資料工程師——Databricks、Snowflake 與 Spark
運用 Databricks 和 Snowflake 建構可擴充的資料平台,開發 ETL 管線、資料模型與資料擷取架構。 使用 Spark、Python 和 SQL 實現資料處理與分析。
說明
- 與資深資料工程師和架構師合作,建構、調校並維護可擴充的資料管線與工作流程
- 使用 Databricks、Spark、Python 和 SQL 建立 ETL/ELT 流程
- 為結構化與非結構化資料設計並實作資料擷取架構
- 建構並維護 Snowflake 資料模型、資料市集及分析資料集
- 監控並排除資料管線問題,提升其效能、可靠性與可擴充性
- 與業務利害關係人、分析師和資料科學家合作,釐清資料需求並交付解決方案
- 參與架構討論、概念驗證與流程改善
- 記錄資料流程、技術設計與實作方式,以支援可靠營運和知識共享
- 在各資料平台落實資料品質、安全與治理標準
職位要求
- 具備電腦科學、資訊科技、工程、資料科學或相關技術領域的學士或碩士學位
- 具備扎實的 SQL 與資料庫概念基礎
- 能以 Python 或同類語言進行程式設計
- 了解資料倉儲、ETL/ELT 流程與資料建模
- 曾透過課程、實習、認證、黑客松或個人專案接觸 Databricks、Apache Spark、Snowflake 或雲端資料平台
- 具備 Azure、AWS 或 Google Cloud Platform 基礎知識者佳
- 具備良好的分析與問題解決能力,並有興趣學習現代資料工程工具
- 溝通清晰且擅長團隊合作



