Capital One 是一家提供金融服务和金融科技服务的公司，业务涵盖信用卡、汽车贷款、银行业务和储蓄产品。公司将金融专业知识与技术及数字工具相结合，致力于改善客户管理资金的方式。其职业发展方向包括在多元包容的工作环境中打造以客户为导向的解决方案。
高级数据工程师 4——Python、AWS、Spark、Kafka｜Capital One，纽约
在 Capital One 构建云优先湖仓和流式数据平台。 帮助为数百万客户打造个性化全渠道营销体验。
描述
- 独立设计、开发、测试和部署具备韧性的云优先数据解决方案、湖仓架构和实时流式处理管道。
- 指导由开发人员、数据分析师和数据科学家组成的跨职能敏捷团队。
- 应用一致的数据工程模式，提升代码质量、可维护性和运营效率。
- 使用 Python、SQL、Scala、Spark、NoSQL 数据库、开源关系型数据库、Databricks 和 Snowflake 进行开发。
- 实施加密、细粒度访问控制、数据质量实践、数据治理和可允许使用标准。
- 与数字产品经理和软件工程师合作，交付可靠的解决方案并改善客户体验。
- 向技术和非技术利益相关者解释技术概念和数据洞察。
- 参与工程社区，跟踪技术发展，并使用交互式 AI 工具加速交付。
- 开展单元测试和同行评审，同时优化性能、可观测性和下游可用性。
- 创建可扩展的平台，支持在自有和付费广告技术渠道中实现超个性化的全渠道消息传递和体验。
任职要求
- 计算机科学或相关定量学科（如统计学、经济学、运筹学、分析学、数学或工程学）本科或以上学历。
- 至少四年应用开发经验，不包括实习经历。
- 至少两年分布式数据工作经验。
- 至少两年 SQL 使用经验。
- 至少两年 Python、Java 或 Scala 使用经验。
- 至少两年设计和开发数据管道的经验。
- 至少一年使用关系型和非关系型数据库进行数据建模和端到端解决方案设计的经验。
- 该职位不提供雇主担保或与移民相关的就业授权支持。
- 优先条件：计算机科学、数据工程、信息系统或相关技术学科硕士学位。
- 优先条件：七年或以上使用 Python、SQL、Spark、Scala 或 Java 进行应用开发的经验。
- 优先条件：四年或以上在 AWS、Azure 或 GCP 中设计、部署和运营数据工作负载的经验。
- 优先条件：四年或以上使用 EMR、Spark、AWS Glue、Databricks、MapReduce、Hadoop 或 Hive 构建分布式数据或计算工作负载的经验。
- 优先条件：四年或以上设计、实施和运营 Kafka 等实时或流式应用的经验。
- 优先条件：四年或以上设计和管理 Snowflake 或 Redshift 数据仓库及数据模型的经验。
- 优先条件：四年或以上实施 NoSQL 系统，并使用 MongoDB、Cassandra 或 DynamoDB 构建半结构化数据解决方案的经验。
- 优先条件：四年或以上在 UNIX 或 Linux 环境中使用基本命令和 Shell 脚本的经验。
- 优先条件：两年或以上使用 Airflow、Dagster、Monte Carlo 或 Splunk 等数据编排或可观测性工具的经验。
- 优先条件：两年或以上开发可复用、以用户为中心的数据产品的经验。
- 优先条件：两年或以上在敏捷工程和交付环境中工作的经验。
- 优先条件：实际使用 Claude Code 或 GitHub Copilot 等交互式 AI 工具的经验。
福利待遇
- 基于绩效的激励薪酬可能包括现金奖金和/或长期激励。
- 在健康、财务福祉和整体健康等方面提供全面且具有竞争力的福利。
- 为残障申请人提供合理便利。