中高級 Azure Databricks 資料工程師——哥倫比亞遠端
在 GFT Technologies 設計並最佳化 Azure 與 Databricks 資料管線及雲端架構。為分析、人工智慧與機器學習準備可信賴的資料。
說明
- 設計、建置並最佳化以 Azure 與 Databricks 為基礎的資料架構
- 實作 ETL 與 ELT 流程，以整合多個資訊來源
- 設計並管理 Data Lake 與 Lakehouse 架構
- 監控資料管線，確保一致性、品質、可追溯性與安全性
- 為進階分析、報表與機器學習模型準備並最佳化資料集
- 與 BI、分析及資料科學團隊合作，改善資訊存取
- 定義並實作資料治理與品質控制
- 為資料解決方案實作持續整合與持續部署流程
- 為分散式處理及大量資料設計可擴充的解決方案
- 找出可最佳化成本、效能與處理時間的改進措施
- 評估新技術與最佳實務，推動資料平台發展
職位要求
- 系統工程、工業工程、電子工程、機電整合工程或相關領域學位
- 三至五年資料工程師經驗
- 熟練 SQL
- 具備 Python 或 Scala 使用經驗
- 具備使用 PySpark 進行分散式處理的經驗
- 具備 Azure Databricks 使用經驗
- 具備 Azure Data Factory 使用經驗
- 具備 Azure Data Lake Storage Gen2（ADLS Gen2）使用經驗
- 了解 Delta Lake
- 具備 Lakehouse 架構經驗
- 了解 Medallion 架構
- 具備維度建模經驗
- 具備關聯式資料庫經驗
- 具備 NoSQL 資料庫經驗
- 了解資料治理與資料品質
- 具備 Unity Catalog 使用經驗
- 具備 Delta Live Tables（DLT）使用經驗
- 了解 Great Expectations
- 具備透過 Event Hubs 進行串流處理的經驗
- 具備 Azure DevOps 與 Git 使用經驗
- 了解 Entra ID
- 了解 RBAC
- 熟練 Power BI
- 熟練 Visual Studio Code
- 具備資料整合與 ETL/ELT 流程經驗
- 具備資料分析與建模經驗
- 具備 Azure 資料工程認證者佳
- 具備人工智慧與機器學習專案經驗者佳
- 了解 DataOps 與資料平台自動化者佳
福利待遇
- 彈性工作時間
- 遠端工作
- 個人化職涯發展計畫
- 培訓計畫
- 在跨領域團隊中工作
- 多元化的全球團隊
- 參與服務產業領先客戶的高影響力專案