数据工程师4——智能基础与体验|Capital One(现场办公,里士满)
在Capital One构建安全、可扩展的云数据平台和数据管道。 开发支持数百万美国人实现财务赋能的数据解决方案。
描述
- 与敏捷团队合作,设计、开发、测试、实施并支持技术解决方案
- 指导开发人员、数据分析师和数据科学家开展机器学习、分布式微服务、湖仓架构和全栈系统工作
- 使用Python和Spark,以及开源关系型和NoSQL数据库、Databricks与Snowflake进行开发
- 跟踪数据工程趋势,评估新兴技术,参与技术社区并指导数据专业人员
- 与产品经理和软件工程师合作,交付云优先的数据解决方案
- 独立创建、实施并交付云数据应用和解决方案
- 定义并应用促进代码质量、可维护性和复用性的数据工程模式
- 向内部和外部利益相关者解释技术概念和数据结果
- 构建具有韧性、可扩展且运营效率高的数据平台和数据管道
- 应用数据安全控制措施,包括加密和细粒度访问权限,同时持续遵守隐私合规要求
任职要求
- 拥有计算机科学或相关定量学科的学士学位或更高学历,例如统计学、经济学、运筹学、分析学、数学或工程学
- 至少四年应用开发经验,不包括实习经历
- 至少两年分布式数据工作经验
- 至少两年SQL经验
- 至少两年Python、Java或Scala经验
- 至少两年设计和开发数据管道的经验
- 至少一年使用关系型和非关系型数据库创建数据模型及端到端数据解决方案的经验
- 新申请人不符合雇主提供的移民或移民相关支持条件
- 优先考虑:七年或以上应用开发经验
- 优先考虑:四年或以上在AWS、Microsoft Azure或Google Cloud中设计、部署和运营工作负载的经验
- 优先考虑:四年或以上使用EMR、Spark、Glue或Databricks的经验
- 优先考虑:四年或以上设计和运营实时或流式数据管道的经验
- 优先考虑:两年或以上使用数据可观测性或编排工具的经验,例如Monte Carlo、Splunk、Airflow或Dagster
- 优先考虑:四年或以上使用NoSQL数据库的经验,包括MongoDB、Cassandra或DynamoDB
- 优先考虑:四年或以上设计和支持Snowflake或Redshift数据仓库的经验
- 优先考虑:两年或以上敏捷开发环境工作经验
- 优先考虑:两年或以上开发可复用、以用户为中心的数据产品的经验
福利待遇
- 基于绩效的激励性薪酬可能包括现金奖金和/或长期激励
- 提供广泛的健康、财务及其他福利,旨在支持整体福祉
- 可为有需要的申请人提供合理便利
