I
資深資料工程師(Scala、Spark、Python)– TD,多倫多混合辦公
加入道明證券,擔任資深資料工程師,為資本市場風險平台提供支援。使用 Scala、Python 和 Spark 建置及維護可擴充的即時資料系統與分析基礎架構。
說明
- 使用 Scala、Python 和 Apache Spark 設計分散式資料處理系統
- 開發並最佳化大規模批次與串流 Spark 管線
- 將資料科學家、分析師和利害關係人的資料需求轉化為有效解決方案
- 使用 Scala、Spark、PySpark 和 Akka/Pekko 維護即時處理系統
- 建立並支援用於轉換和整合多個來源資料的 ETL 工作流程
- 支援信用風險、交易對手信用風險、XVA 和監管報告資料平台
- 應用 Databricks Unity Catalog、資料血緣、分類和存取治理實務
- 使用 FpML、金融產品建模和資本市場參考資料標準
- 透過自動化測試和監控維護資料品質、可靠性與完整性
- 與 DevOps 團隊合作,部署和運作 CI/CD 及雲端資料管線
- 透過工作最佳化和調校改善 Spark 效能與可擴充性
- 參與程式碼審查並強化工程實務
- 持續掌握不斷演進的資料工程工具和方法
- 與技術及非技術同事進行有效溝通
- 與業務和技術團隊建立牢固合作關係,以提升生產力和營運效能
職位要求
- 具備電腦科學、工程或相關學科的學士或碩士學位
- 至少五年資料工程經驗,尤其熟悉 Python、Scala 和 Spark
- 深入了解資料倉儲、資料建模和 ETL 實務
- 具備 Azure ADLS、Azure Databricks 和 Dremio 的實務經驗
- 具備 Hadoop、Kafka、Hive 和 HBase 的實務經驗
- 具備使用 Akka/Pekko 建置分散式系統的實務經驗
- 了解 REST 和 gRPC 通訊協定
- 具備優秀的 SQL 技能以及關聯式和 NoSQL 資料庫經驗
- 具備 GCP 或 Azure 以及 Docker 或 Kubernetes 經驗者優先
- 具備 Apache Kafka 或 Confluent 經驗者優先
- 熟悉用於 Excel 增益集開發的 C#
- 具備建立 CI/CD 管線和使用基礎架構即程式碼的經驗
- 了解資料治理和安全實務
- 熟悉機器學習和資料科學工作流程
- 具備即時分析和事件驅動架構經驗
- 具備優秀的問題解決能力,能夠獨立工作並進行團隊協作
- 具備清晰的溝通能力和跨職能工作經驗
- 展現與全球團隊有效協作的能力
- 能在快節奏環境中取得成功,同時適應業務優先事項
- 了解衍生品定價和資本市場者優先
福利待遇
- 與企業及個人績效掛鉤的酌情浮動薪酬
- 健康與身心健康福利
- 儲蓄和退休計畫
- 帶薪休假
- 銀行服務福利和折扣
- 職涯發展機會
- 獎勵與表揚計畫
- 持續發展討論、培訓以及線上學習平台使用權限
- 導師計畫
- 培訓和入職課程
- 工作場所便利措施,例如無障礙會議室和虛擬面試字幕








