技術主管 II,Databricks – 班加羅爾現場辦公
負責 Carelon Global Solutions 醫療平台的 Databricks、Snowflake 與雲端資料工程。建構可擴充的資料湖倉管線,並帶領印度團隊推動現代化計畫。
說明
- 負責交付可擴充的資料工程解決方案
- 使用 Databricks 與 Python 領導端到端管線開發
- 設計批次與即時資料處理框架
- 審查實作品質並制定工程標準
- 指導團隊進行效能調校與系統可靠性建設
- 使用 Databricks、Spark 與 Python 開發並支援 ETL/ELT 管線
- 建立可擴充的資料湖倉架構
- 建立資料品質、治理與可觀測性實務
- 調校 Snowflake 工作負載並完善資料模型
- 為大規模分析設計以 Iceberg 為基礎的資料湖
- 使用 AWS 與 GCP 雲端服務
- 運用受管服務建構雲原生解決方案
- 參與平台現代化與雲端移轉工作
- 與架構師、產品負責人及業務利害關係人合作
- 將業務需求轉化為實際可行的技術設計
- 估算工作量並支援交付規劃
職位要求
- 具備電腦科學相關 B.Tech 或 MCA 學位,或具同等專業經驗
- 至少 7 年整體工作經驗
- 至少 3 年相關 Databricks 經驗
- 具備設計與交付可擴充 Databricks 湖倉解決方案的實務經驗
- 具備進階 Python 與 PySpark 技能
- 深入掌握 Snowflake,涵蓋資料建模、效能調校、查詢最佳化與成本控制
- 熟悉 Apache Iceberg、Delta Lake 與現代開放式資料表格式
- 深入了解 AWS 或 GCP 服務、架構、部署與平台營運
- 具備使用 Spark、Kafka 與雲原生服務建立批次及即時管線的經驗
- 精通 ETL/ELT 架構、資料整合與雲端移轉
- 具備領導工程團隊並交付資料現代化計畫的經驗
- 具備出色的分析與疑難排解能力
- 具備優秀的溝通與利害關係人管理能力
- 精通 Databricks Lakehouse Architecture、Delta Lake、Unity Catalog、Workflows 與效能最佳化
- 熟練掌握 Spark SQL 與分散式處理
- 具備 Snowpipe、Streams、Tasks、資料共享與查詢最佳化的豐富實務知識
- 具備進階 Apache Iceberg 知識,包括結構描述演進、分割與時間旅行
- 具備設計與交付大規模資料工程及 ETL/ELT 管線的經驗
- 具備 AWS、Azure 或 GCP 雲原生資料服務的實務經驗
- 具備跨 OLTP 與分析系統的扎實 SQL 及資料建模能力
- 具備使用 Kafka、Event Hubs、Kinesis 或 Pub/Sub 處理即時資料的經驗
- 了解資料治理、詮釋資料管理、資料品質與安全框架
- 具 Terraform、CloudFormation 或其他基礎架構即程式碼工具經驗者優先
- 具 Docker、Kubernetes 與容器化資料平台經驗者優先
- 具 GitHub Actions、Jenkins、Azure DevOps 或 GitLab 等 CI/CD 工具經驗者優先
- 具 AI/ML、MLOps 與 GenAI 資料平台整合經驗者優先
- 具 Data Mesh、Data Fabric 與現代企業資料架構經驗者優先
- 持有 Databricks、Snowflake 或雲端平台認證者優先
福利待遇
- 重視學習與職涯發展投入
- 創新且富有創意的文化,提供充分自主空間
- 支持整體健康與福祉的計畫
- 多元、公平與共融倡議
- 多元的獎勵與表揚管道
- 具競爭力的健康與醫療保險
- 高品質的設施與工作場所環境
- 以員工為中心的工作場所政策
