State Street 是一家全球金融服務公司，透過投資管理與投資服務解決方案為機構投資者提供服務。其業務包括資產管理、託管服務與投資研究，並結合金融、金融科技及銀行業務領域的專業能力。公司致力於運用數據、洞察與營運能力，協助客戶管理複雜的投資活動、提升效率並支援財務決策。
資料工程師，助理副總裁 - 普林斯頓，紐澤西州
建構 AWS 與 Databricks 湖倉平台，支援 State Street 的法律與合規營運。 開發受治理的資料管道，用於分析、報告及 AI/ML 應用。
說明
- 使用 PySpark、Python 與 Spark SQL 建構及維護可擴充的資料管道
- 使用 Delta Lake 開發及最佳化 Databricks ETL/ELT 工作流程
- 為企業資料平台實作 Bronze、Silver 與 Gold 湖倉架構
- 管理用於批次與串流工作負載的 Databricks Jobs、Workflows 與 Notebooks
- 建立可重複使用的資料擷取、處理與編排框架
- 使用 Docker 將資料工作負載容器化，並透過指令碼自動化流程
- 將 Databricks 管道連接至 Power Apps 與 Power Automate
- 透過 API、連接器及精選資料集向業務使用者提供資料
- 設計及最佳化 Databricks 湖倉架構
- 整合 SQL Server、Oracle 及其他企業資料來源
- 應用維度建模、分割及最佳化方法
- 處理包括 JSON 與 Parquet 在內的結構化及半結構化格式
- 透過快取、索引及 Spark 最佳化提升效能
- 為 Power BI、Power Apps 與 Power Automate 工作流程發布精選資料集
- 透過單元測試、驗證框架及自動化檢查維護資料品質
- 監控及疑難排解分散式 Spark 工作負載與管道
- 調查日誌並解決 Databricks 與雲端環境中的正式環境問題
- 維護資料沿襲、一致性及稽核準備狀態
- 與法律、安全、合規及企業資料團隊合作
- 將業務需求轉化為資料工程解決方案
- 擔任 Databricks 與湖倉架構領域的主題專家
- 獨立領導專案並對交付成果負責
- 透過 Databricks Unity Catalog 以及 AWS IAM 與 KMS 控制支援資料治理
- 符合資料隱私、法規、安全及稽核要求
- 維護存取控制以及資料分類與處理標準
- 與 IAM 及安全團隊合作，保護資料存取
- 使用 Harness、Azure DevOps 或 GitHub 設計及維護 CI/CD 管道
- 使用 Databricks Repos 與 CLI 自動化 Databricks 資產部署
- 使用 Databricks 編排工具監控、排程及最佳化工作流程
- 維護架構、資料流及執行手冊文件
- 提升平台效能、可擴充性及成本效率
職位要求
- 電腦科學、資料工程、資訊系統或相關技術領域的學士或碩士學位
- 至少 8 年資料工程或資料平台開發經驗
- 具備 Databricks 與 Apache Spark 實務經驗
- 熟悉 PySpark、Python 與 SQL
- 具備 AWS 資料服務經驗，包括 S3、Glue、Lambda 與 IAM
- 具備 Delta Lake 與湖倉架構經驗
- 深入了解分散式資料處理
- 深入了解 ETL 與 ELT 框架
- 深入了解資料建模技術
- 具備 Databricks 元件實務經驗，例如 Delta Lake、Workflows 與 Unity Catalog
- 具備使用 AWS 與 Databricks 建構端到端批次及串流管道的豐富經驗
- 熟悉 Spark 與 Delta Lake 效能最佳化
- 具備在湖倉平台上支援分析、報告或 AI/ML 工作負載的經驗
- 了解資料治理、詮釋資料管理及安全控制
- 具備法律、合規、金融服務或其他受監管產業經驗
- 理解包括合約、條款、義務及事項在內的法律資料概念
- 接觸過非結構化資料處理或文件與 NLP 管道
- 具備 Power BI、Power Apps 或 Power Platform 經驗
- 具備在稽核導向環境中管理敏感資料的經驗
福利待遇
- 附公司配對提撥的 401(k) 退休儲蓄計畫
- 保險選項，包括基本人壽、醫療、牙科、視力、長期失能保險及其他選擇性保障
- 帶薪假期，涵蓋休假、病假、短期失能假及家庭照護責任
- 員工協助方案
- 獎勵性薪酬，符合資格者可獲得年度績效獎勵
- 符合資格者可參加部分享有稅務優惠的儲蓄計畫
- 具包容性的專業發展機會
- 彈性工作與生活支援
- 帶薪志願服務日
- 員工網絡