
数据工程师 4,Python、AWS 和 Spark——Capital One,纽约市
Capital One 全职现场数据工程师职位,负责开发安全、云优先的流式数据平台,为个性化营销体验提供支持。 使用 Python、Spark、Kafka、SQL、Snowflake 和 Databricks 构建湖仓解决方案。
描述
- 独立设计、开发、测试和部署具有弹性且可扩展的云优先数据解决方案、湖仓架构和实时流式处理管道
- 带领并影响涵盖开发、数据分析和数据科学的跨职能敏捷团队
- 应用共享的数据工程模式,提升代码质量、可维护性和运营效率
- 使用 Python、SQL、Scala、Spark、NoSQL 数据库、开源关系型数据库、Databricks 和 Snowflake 进行开发
- 实施传输中和静态数据加密、细粒度访问控制、数据质量措施、数据治理和允许使用标准
- 与数字产品经理和软件工程师协作,交付可靠的解决方案并改善客户体验
- 向技术和非技术利益相关者解释技术概念和数据发现
- 跟踪技术发展,参与工程社区,并使用交互式 AI 工具加速交付
- 进行单元测试和代码同行评审
- 提升系统性能、可观测性以及对下游使用者的支持
- 构建可扩展的平台,为自有和付费广告技术渠道提供个性化的全渠道消息传递和体验
任职要求
- 计算机科学或相关定量领域(如统计学、经济学、运筹学、分析学、数学或工程学)的学士学位或更高学历
- 至少四年应用开发经验,不包括实习经历
- 至少两年分布式数据工作经验
- 至少两年 SQL 经验
- 至少两年 Python、Java 或 Scala 经验
- 至少两年设计和开发数据管道的经验
- 至少一年使用关系型和非关系型数据库进行数据建模及端到端解决方案设计的经验
- 新申请人不符合雇主提供移民担保或移民相关支持的资格
- 优先条件:计算机科学、数据工程、信息系统或相关技术学科的硕士学位
- 优先条件:七年或以上使用 Python、SQL、Spark、Scala 或 Java 进行应用开发的经验
- 优先条件:四年或以上在 AWS、Azure 或 GCP 上设计、部署和运营公有云数据工作负载的经验
- 优先条件:四年或以上使用 EMR、Spark、AWS Glue、Databricks、MapReduce、Hadoop 或 Hive 构建分布式数据或计算工作负载的经验
- 优先条件:四年或以上设计、实施和运营 Kafka 等实时流式应用的经验
- 优先条件:四年或以上设计和管理 Snowflake 或 Redshift 等数据仓库的经验
- 优先条件:四年或以上实施 NoSQL 系统,并使用 MongoDB、Cassandra 或 DynamoDB 构建半结构化数据解决方案的经验
- 优先条件:四年或以上在 UNIX 或 Linux 环境中使用基本命令和 shell 脚本的经验
- 优先条件:两年或以上使用数据编排或数据可观测性工具的经验
- 优先条件:两年或以上开发可复用、以用户为中心的数据产品的经验
- 优先条件:两年或以上在敏捷工程和交付环境中工作的经验
- 优先条件:具有使用 Claude Code 或 GitHub Copilot 等交互式 AI 工具的实际经验
福利待遇
- 基于绩效的激励薪酬可能包括现金奖金和/或长期激励
- 全面、具有竞争力且包容的健康、财务及其他福利,支持整体福祉
- 为有需要的申请人提供合理便利
- 致力于机会均等和反歧视
- 无毒品工作场所









