資深資料工程師,Databricks Lakehouse(印度,混合辦公)
打造 Flexera 的 Databricks lakehouse 與 Python 後端平台。 支援技術成本最佳化、分析與 AI/ML 企業 SaaS 產品。
說明
- 主導可擴充、雲端原生後端系統與 API 的架構設計及開發。
- 建置並營運 Python API 服務(例如 FastAPI),提供資料平台功能的存取介面。
- 設計並調校 PostgreSQL 結構描述、索引、查詢及結構描述遷移。
- 為資料密集型工作負載的可靠性、可擴充性、效能與成本效益制定技術方向。
- 從初期設計到正式上線及後續營運,帶領複雜的後端專案。
- 使用 GitHub Actions 和 Terraform 維護 CI/CD 管線,並將變更部署至正式環境。
- 排解 API、資料庫和資料管線中的問題。
- 與資料工程、前端、平台及 SRE 團隊合作。
- 制定程式碼品質、測試、CI/CD、可觀測性及營運實務的工程標準。
- 就技術設計與實作向團隊提供建議。
- 指導初階與資深工程師。
- 採用後端系統、雲端平台及大型資料工程領域的當前實務。
- 指導 Flexera Databricks lakehouse 的設計與效能,以支援分析、AI/ML 和產品開發。
職位要求
- 具備電腦科學或工程學士或碩士學位,或同等實務經驗。
- 至少 8 年後端工程經驗。
- 具備開發 Python 應用程式與服務的實務經驗,包括正式環境 API。
- 具備紮實的關聯式資料庫管理系統(RDBMS)技能,尤佳為 PostgreSQL,包括結構描述設計、複雜查詢開發與調校、Flyway 等遷移工具,以及查詢計畫效能分析。
- 具備使用 FastAPI、Flask 或同等框架設計、建置、部署及營運 REST API 的經驗。
- 具備使用 GitHub Actions、Azure DevOps 或類似工具建置及維護 CI/CD 部署自動化的經驗。
- 具備使用 Terraform 或同等工具實作基礎架構即程式碼的經驗。
- 能夠獨立佈建雲端資源。
- 具備建置大型資料或分析平台的經驗。
- 在可觀測性、監控、分散式追蹤、查詢剖析及延遲問題排解方面經驗豐富。
- 具備安全性、法規遵循及企業 SaaS 需求方面的經驗。
- 具備 FinOps、雲端成本最佳化或企業 SaaS 平台方面的經驗。
- 具備 AWS 經驗,包括 ECS/Fargate、RDS、S3、IAM 和 Secrets Manager。
- 具備建置 AI 驅動後端系統的經驗,包括以 LLM 為基礎或由代理程式驅動的工作流程。
- 優先條件:具備 Power BI Direct Lake 模式和 lakehouse 分析語意模型的經驗。
- 優先條件:熟悉 Mosaic AI、Databricks GenAI 功能或特徵儲存庫實作。
- 優先條件:曾參與開源 Spark 貢獻、發布 Databricks 社群內容,或持有 Databricks Certified Data Engineer Professional 等認證。
福利待遇
- 具競爭力的薪酬。
- 彈性的工作安排。
- 為資深技術領導者提供明確的成長途徑。
- 協作、包容且重視技術的文化。
- 提供平等就業機會。
- 可依要求提供職場便利措施。
