資深資料工程師——Databricks 與 PySpark
為 Imaginary Cloud 的數位產品打造 Databricks 與 PySpark 資料工作負載。 在葡萄牙採混合辦公，為全球客戶改善分析資料管線。
說明
- 建置並管理 Databricks 資料工作負載
- 使用 PySpark 與 Delta Lake 開發資料工程解決方案
- 撰寫並調校 SQL 查詢，包括視窗函式與複雜聯結
- 建立串流或增量資料擷取管線
- 採用冪等性、檢查點與結構描述演進模式
- 為商業智慧與分析建立資料模型
- 使用管線預期、dbt 測試或類似工具測試資料與程式碼
- 使用 Git、程式碼審查、程式碼檢查工具、單元測試與 CI/CD 管線
- 運用代理式 AI 工具加速開發、重構與複雜問題除錯
- 與工程及產品開發團隊合作
- 在跨領域團隊中，為全球客戶的數位產品貢獻心力
職位要求
- 具備至少五年資料工程或密切相關職務的經驗
- 具備電腦科學、資料工程、資料科學或相關量化領域的學術背景
- 具備 Databricks 正式環境的實務經驗
- 擁有豐富的 Databricks 資料工作負載建置經驗
- 深入了解 PySpark 與 Delta Lake
- 精通 SQL，包括視窗函式、複雜聯結與查詢調校
- 具備串流或增量資料擷取經驗，包括 Structured Streaming 或 Auto Loader，以及冪等性、檢查點與結構描述演進模式
- 具備 BI 與分析資料建模經驗
- 了解 Databricks 工作流程的測試與 CI/CD
- 熟悉軟體工程與 DevOps 基礎，包括 Git、程式碼審查、程式碼檢查工具、單元測試與 CI/CD 管線
- 使用管線預期、dbt 測試或類似方法進行資料品質測試
- 熟練使用 Cursor IDE 和 GitHub Copilot 等代理式 AI 工具
- 具備優異的分析與問題解決能力
- 具備與工程及產品開發團隊合作的經驗
- 能流利地以英語進行口說與書寫
- 居住於葡萄牙，或願意且依法符合資格在當地居住與工作
福利待遇
- 依經驗與績效核定薪資
- 帶薪病假
- 醫療與牙科保險
- 舒適福利預算
- 以遠端工作為優先的公司
- 彈性工時
- 參與服務全球業界領先客戶的專案
- 以人為本、重視並賦能團隊的文化
- 輕鬆自在的工作環境
- 透過團隊活動分享知識並一同慶祝
- 透過導師制度與績效評估支持職涯發展