
大數據工程師——Python、PySpark 與 Databricks|花旗|浦那混合辦公
使用 Python、PySpark 和 Databricks,為花旗全球金融資料基礎架構建置並支援大規模資料管道。 協作處理 Hadoop、Tableau、Linux 及企業級分析交付工作。
說明
- 開發並維護可擴充的 Python 與 PySpark 管道,在分散式平台上處理結構化與非結構化資料
- 設計並改善以 Hadoop 為基礎的工作流程,包括 HDFS 與 Hive,為報告和分析提供可靠資料
- 為跨業務領域的資料工程計畫準備可行性評估、交付估算與技術規劃
- 負責資料應用程式生命週期,涵蓋分析、設計、測試、部署與正式環境支援
- 與分析及報告團隊合作開發 Tableau 儀表板,將來源資料轉化為有用的業務洞察
- 管理並排解以 Linux 為基礎的資料流程問題,以維持系統穩定性、效能與營運持續性
- 評估交付風險,並使資料工程解決方案符合安全性、治理與合規要求
職位要求
- 具備 5 至 8 年資料工程、大數據開發或專注於大規模資料平台的軟體應用程式開發經驗
- 具備使用 Python 與 PySpark 進行大規模資料擷取、轉換及管道編排的實務開發經驗
- 精通 ETL、Oracle Database 與 SQL
- 具備 Databricks 實務知識
- 了解 HDFS、Hive 與叢集操作等 Hadoop 生態系統技術,並熟悉 Ozone 儲存
- 能在 Linux 環境中使用指令碼、工作排程與程序管理工具有效工作
- 具備建立或支援 Tableau 儀表板與報告的經驗
- 熟悉用於資料工程情境中統計分析或資料探索的 RStudio
- 深入掌握大型語言模型,包括 OpenAI、Gemini、Claude、Llama 以及本機或開源模型
- 擁有相關技術領域的學士學位或同等經驗
- 具備管理並成功交付專案的經驗
- 了解顧問與專案管理技術及方法
- 能在壓力下工作、準時完成任務,並適應需求或期望中的意外變化
- 具備雲原生資料平台經驗,或有將地端 Hadoop 工作負載遷移至現代資料平台的經驗
- 了解大規模環境中使用的資料治理、詮釋資料管理或資料品質框架
- 熟悉技術交付中使用的顧問或專案管理方法
福利待遇
- 混合辦公安排,每週兩天進辦公室、三天遠端工作
- 持續學習與職涯發展資源
- 可在有限直接監督下自主做出技術決策,並有機會擔任高階利害關係人的主題專家
- 花旗全球科技組織內明確的職涯發展機會
- 符合工作地點與職級的財務福祉支援及福利








