EXL
EXL
EXL 是一家商業顧問與服務公司,協助組織運用資料、分析與科技改善營運並做出更明智的決策。其業務涵蓋營運管理、決策分析與數位轉型,並具備為醫療保健、保險、金融及物流產業客戶提供支援的經驗。EXL 結合資料科學與務實的商業專業,根據每個組織的目標、營運模式及產業背景,制定量身打造的解決方案。

EXL Databricks 技術主管 — 清奈,混合辦公

帶領金融犯罪平台的 Databricks 湖倉工程工作。 建置 Delta Lake 資料管線,並管理開發、測試與正式環境中的 Unity Catalog。

說明

  • 建置並維護開發、測試與正式環境中的 Databricks 工作區、叢集及運算集區。
  • 設定 Unity Catalog 治理、存取控制、細緻權限及資料沿革。
  • 調校叢集類型、自動擴縮,以及競價或可搶占節點,在成本與效能之間取得平衡。
  • 使用 Databricks Secrets、Azure Key Vault 或 AWS Secrets Manager 建立工作區結構、存取控制及密鑰管理機制。
  • 管理 Databricks 作業、工作流程及多任務協調,包括相依關係。
  • 設計採用分割及 Z-order 排序的 Delta Lake 資料表,並使用 OPTIMIZE 和 VACUUM 壓縮檔案。
  • 採用 Medallion Architecture 將結構化資料湖組織為 Bronze、Silver 和 Gold 層。
  • 開發 Delta Live Tables 管線,運用宣告式 ETL/ELT 與內建資料品質預期規則。
  • 處理結構描述變更、資料表版本、時間旅行及 Change Data Feed,以支援增量處理。
  • 建立將 Delta Lake 與 Kafka、ADLS、S3 和 GCS 串接的湖倉模式。
  • 為金融犯罪平台建置 Databricks 管線,涵蓋 AML、KYC、CRA、制裁篩查、交易監控、詐欺偵測及法規報告。

職位要求

  • 具備電腦科學、資訊科技、資料工程或相關領域的學士或碩士學位。
  • 至少 8 年資料工程或軟體工程經驗。
  • 至少 3 年在正式環境中實際使用 Databricks 的經驗。
  • 具備紮實的大數據工程、雲端資料平台及分散式運算基礎。
  • 深入使用 Databricks Workspaces、Clusters、Jobs、Workflows 和 Repos 的經驗。
  • 熟悉 Unity Catalog,包括中繼存放區設定、目錄、結構描述與資料表管理、存取控制及資料沿革。
  • 具備開發、監控 Delta Live Tables 管線並設定品質預期的實務經驗。
  • 深入了解 Delta Lake 內部機制,包括交易記錄、ACID 保證、檔案配置及最佳化方法。
  • 具備使用 Databricks SQL Warehouses、SQL Analytics 及開發儀表板的經驗。
  • 了解 Databricks Photon 引擎、無伺服器運算及成本最佳化。

相關職缺

Weekday

資深全端 Java 工程經理

Weekday
501 – 1,000 員工
時尚零售電子商務

帶領工程團隊打造可擴充的 Java 與 Spring Boot 服務,以及現代前端應用程式。 負責架構、可靠性、人才培育與交付,服務軟體開發客戶。

開啟
Nokia

資深軟體工程師,雲端原生平台

Nokia

參與建置 Nokia MantaRay NM 雲端原生網路可觀測性平台,涵蓋分散式系統、Kubernetes 與 CI/CD 自動化。 運用 AI 輔助工程工具與自動化改善軟體開發。

開啟