Databricks 架構師——美國遠端職位
Point C 正在招募遠端 Databricks 架構師，為醫療福利資料打造 Azure 湖倉平台。 此職位涵蓋理賠資料管道、治理，以及正式環境的分析基礎架構。
說明
- 使用 Databricks、Apache Spark、Delta Lake 和 SQL 建立可擴充的資料平台，並搭配解決方案架構與技術設計文件。
- 為涵蓋多個理賠系統的企業工作負載開發 Bronze、Silver 和 Gold 獎章架構。
- 使用 Databricks Workflows、PySpark 和 SQL 建置、調校並維護正式環境的 ETL/ELT 管道。
- 支援 ADF 和 ADLS 資料擷取，以及既有的 kill-and-fill 維度模式。
- 設計與管理資料模型及 Delta 資料表，包括結構演進、時間旅行、分割和最佳化。
- 設計連接雲端儲存服務與資料庫的 Azure 解決方案架構。
- 實作 Unity Catalog、存取控制、資料治理、資料譜系和安全措施。
- 將理賠系統資料字典轉換為 Unity Catalog 資料表，用於報表和 API。
- 制定並執行提升平台效能及控制成本的策略。
- 與資料工程師、分析師和業務利害關係人合作，將需求轉化為技術設計。
- 為 Databricks 筆記本、工作和基礎架構建立 CI/CD 流程。
- 診斷正式環境的管道問題，並協助維持平台可靠性。
職位要求
- 具備5至7年資料工程或雲端工程經驗。
- 具備 Databricks 和 Apache Spark 的實務專業能力。
- 精通 PySpark 和 SQL。
- 深入了解 Delta Lake 和獎章架構。
- 具備至少一個雲端平台的經驗，具體為 Azure。
- 了解資料治理、Unity Catalog、IAM/RBAC 和安全實務。
- 具備 Git、CI/CD 和基礎架構即程式碼概念的經驗。
- 深入了解資料倉儲、維度建模和分散式資料處理。
- 具備 Azure Data Factory 經驗者優先。
- 具備 Terraform 經驗者優先。
- 具備 Kafka 或其他串流技術經驗者優先。
- 具備 Power BI 平台經驗者優先。
- 擁有 Databricks 認證者優先。
- 具備企業資料湖或湖倉設計經驗者優先。
福利待遇
- 醫療、牙科、視力和人壽保險。
- 提供雇主配對提撥的 401(k) 退休計畫。
- 提供健康儲蓄帳戶和彈性支出帳戶選項。
- 帶薪休假和失能假。
- 員工援助計畫。