資深 Databricks 資料工程師——波蘭遠端合約
使用 Python 為 Optiveum 的科技客戶打造可擴展的 Databricks 資料管道與處理解決方案。 針對複雜資料集與雲端架構，跨 AWS、Azure 和 Google Cloud Platform 開展工作。
說明
- 為大型且多樣化的資料集建立 Databricks 處理解決方案
- 使用雲原生技術開發並改進 Python 資料管道
- 與解決方案架構師合作，建立並維護資料工程標準
- 在各種雲端環境中維護資料完整性、安全性與可擴展性
- 為 AWS、Azure 和 Google Cloud Platform 上的複雜資料工作負載設計可擴展架構
- 應用現代資料框架、程式設計實務與 DevOps 原則
職位要求
- 具備商業資料工程經驗，並擁有實務 Databricks 專業能力
- 具備使用 Python 進行自動化與資料轉換的進階技能
- 具備至少一個主要雲端平台的商業經驗：AWS、Azure 或 Google Cloud Platform
- 具備良好的書面與口頭溝通能力
- 精通英語與波蘭語
- 具備扎實的 SQL 知識，包括查詢最佳化與資料建模
- 了解 DevOps 實務、CI/CD 管道，以及 Terraform 或 Bicep 等基礎架構即程式碼工具
- 具備即時串流技術經驗，包括 Kafka 或 Spark Streaming
- 了解 Data Lake、Snowflake 或 Synapse 等雲端儲存平台
- 具備使用 PySpark 進行分散式資料處理的實務經驗
- 擁有相關專業認證，例如 Databricks Certified Data Engineer Associate 或雲端資料認證