資深 Databricks 資料工程顧問
在 SDG Group 負責客戶資料工程交付,打造可擴充的 Databricks 解決方案並最佳化 SQL 轉換。 引導技術決策、指導同事,並協助客戶將雲端資料平台連結至業務成果。
說明
- 透過設計、測試和持續支援,在 Databricks 上建置並維護可擴充的資料解決方案。
- 透過疑難排解和效能調校,改善複雜的 SQL 查詢與轉換邏輯。
- 帶領資料工程工作流程,並做出周全的技術決策。
- 運用 ETL/ELT 方法和整合工具連結結構化與非結構化資料來源。
- 為報表、分析、人工智慧及下游用途設計並審查可擴充的資料模型與資料倉儲結構。
- 參與雲端資料平台架構設計與現代化改造。
- 建立完善的交付實務,涵蓋開發、測試、文件、部署、可維護性和治理。
- 解決並改善資料品質、可靠性、可擴充性,以及查詢或資料管線效能問題。
- 與客戶利害關係人合作,釐清需求、說明取捨、建議解決方案、設定技術預期,並將工程決策連結至業務成果。
- 與跨領域團隊協調、審查技術工作、分享實務,並指導初階工程師和顧問。
- 持續掌握 Databricks 功能、資料工程方法和業界實務。
- 分享專業知識,並在 SDG 社群中提供技術領導。
職位要求
- 具備約 5–7 年或以上資料工程、資料倉儲、資料整合、分析工程或相關技術領域經驗。
- 具備負責複雜技術交付並取得成果的實績。
- 擁有豐富的 Databricks 實務經驗,包括正式環境中的資料工程和分析工作負載。
- 熟練使用 Databricks SQL。
- 具備進階 SQL 技能,涵蓋聯結、CTE、視窗函數、彙總、複雜轉換、效能調校和資料驗證。
- 能熟練使用 Python 或其他相關程式或指令碼語言。
- 深入了解資料管線、ETL/ELT、整合、資料倉儲、轉換模式及正式環境資料工程實務。
- 了解維度建模和現代資料建模概念。
- 具備現代雲端環境和企業級資料平台的豐富經驗。
- 曾使用現代資料工程、協調流程或轉換工具。
- 能跨多個來源與目標系統帶領資料驗證、核對、疑難排解和效能調校。
- 具備良好的分析判斷力和架構判斷力。
- 具備良好的書面及口頭溝通能力。
- 能帶領技術討論、影響利害關係人、清楚說明複雜主題並贏得客戶信任。
- 能指導同事,並持續精進技術和顧問能力。
- 具備顧問或其他面向客戶的經驗者優先考慮。
- 具備 Matillion 和/或 dbt 經驗者高度優先考慮。
- 優先考慮具備 Databricks SQL Warehouses、Delta Lake 或 Delta Tables、Databricks Workflows、Unity Catalog、Snowflake、PySpark,以及大規模企業資料遷移或現代化改造經驗者。
- 具備製藥、生命科學、醫療保健或其他高度監管產業經驗者優先考慮。
福利待遇
- 在持續成長的高科技領域從事全職工作。
- 以績效為基礎的文化,支持職涯發展和專業成長。
- 具競爭力的薪酬。
- 提供雇主配比提撥的 401(k) 退休計畫。
- 醫療、牙科、視力和失能保障。
- 至少三週帶薪休假。
- 彈性的假日安排。
- 混合辦公,可結合現場和遠端工作。
- 持續接受訓練,並累積現代資料、分析和人工智慧技術經驗。
- 與經驗豐富的專業人士在協作環境中共事。
- 參與內容扎實的客戶專案。
