
EXL Databricks 技術主管 — 清奈,混合辦公
帶領金融犯罪平台的 Databricks 湖倉工程工作。 建置 Delta Lake 資料管線,並管理開發、測試與正式環境中的 Unity Catalog。
說明
- 建置並維護開發、測試與正式環境中的 Databricks 工作區、叢集及運算集區。
- 設定 Unity Catalog 治理、存取控制、細緻權限及資料沿革。
- 調校叢集類型、自動擴縮,以及競價或可搶占節點,在成本與效能之間取得平衡。
- 使用 Databricks Secrets、Azure Key Vault 或 AWS Secrets Manager 建立工作區結構、存取控制及密鑰管理機制。
- 管理 Databricks 作業、工作流程及多任務協調,包括相依關係。
- 設計採用分割及 Z-order 排序的 Delta Lake 資料表,並使用 OPTIMIZE 和 VACUUM 壓縮檔案。
- 採用 Medallion Architecture 將結構化資料湖組織為 Bronze、Silver 和 Gold 層。
- 開發 Delta Live Tables 管線,運用宣告式 ETL/ELT 與內建資料品質預期規則。
- 處理結構描述變更、資料表版本、時間旅行及 Change Data Feed,以支援增量處理。
- 建立將 Delta Lake 與 Kafka、ADLS、S3 和 GCS 串接的湖倉模式。
- 為金融犯罪平台建置 Databricks 管線,涵蓋 AML、KYC、CRA、制裁篩查、交易監控、詐欺偵測及法規報告。
職位要求
- 具備電腦科學、資訊科技、資料工程或相關領域的學士或碩士學位。
- 至少 8 年資料工程或軟體工程經驗。
- 至少 3 年在正式環境中實際使用 Databricks 的經驗。
- 具備紮實的大數據工程、雲端資料平台及分散式運算基礎。
- 深入使用 Databricks Workspaces、Clusters、Jobs、Workflows 和 Repos 的經驗。
- 熟悉 Unity Catalog,包括中繼存放區設定、目錄、結構描述與資料表管理、存取控制及資料沿革。
- 具備開發、監控 Delta Live Tables 管線並設定品質預期的實務經驗。
- 深入了解 Delta Lake 內部機制,包括交易記錄、ACID 保證、檔案配置及最佳化方法。
- 具備使用 Databricks SQL Warehouses、SQL Analytics 及開發儀表板的經驗。
- 了解 Databricks Photon 引擎、無伺服器運算及成本最佳化。





