I
TD 是一家主要服务于北美市场的大型银行，为个人、企业和机构客户提供个人银行与商业银行、保险、财富管理及证券服务。其广泛的业务模式涵盖银行和金融领域的多种职业机会，职位遍布不同地区和专业方向。TD 还重视可持续发展、多元化、公平与包容以及社区影响力，致力于营造以关怀、尊重和员工成长为核心的职场文化。
高级数据工程师（Scala、Spark、Python）– TD，多伦多混合办公
加入道明证券，担任高级数据工程师，为资本市场风险平台提供支持。使用 Scala、Python 和 Spark 构建并维护可扩展的实时数据系统与分析基础设施。
描述
- 使用 Scala、Python 和 Apache Spark 设计分布式数据处理系统
- 开发并优化大规模批处理和流式 Spark 流水线
- 将数据科学家、分析师和利益相关者的数据需求转化为有效解决方案
- 使用 Scala、Spark、PySpark 和 Akka/Pekko 维护实时处理系统
- 创建并支持用于转换和整合多源数据的 ETL 工作流
- 支持信用风险、交易对手信用风险、XVA 和监管报告数据平台
- 应用 Databricks Unity Catalog、数据血缘、分类和访问治理实践
- 使用 FpML、金融产品建模和资本市场参考数据标准
- 通过自动化测试和监控保障数据质量、可靠性与完整性
- 与 DevOps 团队合作，部署和运营 CI/CD 及基于云的数据流水线
- 通过作业优化和调优提升 Spark 的性能与可扩展性
- 参与代码评审并加强工程实践
- 持续了解不断发展的数据工程工具和方法
- 与技术和非技术同事进行有效沟通
- 与业务和技术团队建立牢固合作关系，提升生产力和运营效率
任职要求
- 计算机科学、工程或相关专业的学士或硕士学位
- 至少五年数据工程经验，尤其熟悉 Python、Scala 和 Spark
- 扎实掌握数据仓库、数据建模和 ETL 实践
- 具备 Azure ADLS、Azure Databricks 和 Dremio 的实际经验
- 具备 Hadoop、Kafka、Hive 和 HBase 的实际经验
- 具备使用 Akka/Pekko 构建分布式系统的实际经验
- 了解 REST 和 gRPC 通信协议
- 具备较强的 SQL 技能以及关系型和 NoSQL 数据库经验
- 具备 GCP 或 Azure 以及 Docker 或 Kubernetes 经验者优先
- 具备 Apache Kafka 或 Confluent 经验者优先
- 熟练掌握用于 Excel 加载项开发的 C#
- 具备构建 CI/CD 流水线和使用基础设施即代码的经验
- 了解数据治理和安全实践
- 熟悉机器学习和数据科学工作流
- 具备实时分析和事件驱动架构经验
- 具备较强的问题解决能力，能够独立工作并开展团队协作
- 具备清晰的沟通能力和跨职能工作经验
- 证明能够与全球团队开展有效协作
- 能够在快节奏环境中取得成果，并适应业务优先事项的变化
- 了解衍生品定价和资本市场者优先
福利待遇
- 与企业及个人绩效挂钩的酌情浮动薪酬
- 健康与福祉福利
- 储蓄和退休计划
- 带薪休假
- 银行服务福利与折扣
- 职业发展机会
- 奖励与认可计划
- 持续发展沟通、培训以及在线学习平台使用权限
- 导师计划
- 培训和入职课程
- 工作场所便利措施，例如无障碍会议室以及虚拟面试字幕支持
