高级数据工程师
负责设计并优化安全、可靠的数据平台，服务于美国运通。 工作涵盖数据库架构、云工程、性能调优和数据工程师指导。
描述
- 指导数据工程师，推动技术卓越、协作与持续改进。
- 与产品、架构和业务团队合作开展敏捷交付，制定可扩展的数据解决方案和迭代优先级。
- 评估新兴数据库技术，推进云服务、现代数据库能力和工程实践的发展。
- 为安全、可靠且高性能的企业平台创建可扩展的逻辑和物理数据模型。
- 构建、运维并优化关系型、NoSQL、分布式和云原生数据库系统。
- 通过 SQL 和查询计划调优、索引、分区、存储优化、容量规划及工作负载管理提升数据库性能。
- 设计并维护高可用数据库架构，包括复制、备份、恢复和灾难恢复。
- 制定并落实数据架构、安全、治理、自动化和运维标准。
- 为数据库平台开发基础设施即代码解决方案和自动化框架。
- 通过高级建模、分区、索引和分布式数据管理来设计并改进大数据平台。
- 将数据平台连接至云应用、CI/CD 流水线、容器化环境和现代数据工程系统。
- 与产品、架构、安全和业务团队合作，使数据平台符合战略目标和技术路线图。
- 调查复杂的生产事故，提升数据库的可靠性、可观测性、性能和韧性。
- 通过技术评估、工程标准和现代化工作引导技术方向。
任职要求
- 计算机科学、计算机工程、信息系统或相关技术领域的学士学位；硕士学位优先，或具备同等专业经验。
- 至少 8 年大型（TB/PB 级）企业数据库平台和数据工程解决方案的设计、开发、管理及优化经验。
- 精通 Oracle、PostgreSQL 和 MySQL。
- 具备 MongoDB、Couchbase、Cassandra、Redis 或同类分布式 NoSQL 平台的丰富经验。
- 具备 YugabyteDB、Cassandra 或同类分布式 SQL 或 NoSQL 技术经验。
- 具备 SingleStore、Redis 或 Apache Ignite 等内存数据库经验。
- 具备 AWS 和 GCP 云数据库服务及 DBaaS/SaaS 的丰富经验，包括 Amazon RDS、Aurora、DynamoDB、Cloud SQL、BigQuery、Bigtable、MongoDB Atlas、Couchbase 和 Yugabyte。
- 精通数据库性能调优、SQL 优化、执行计划分析、索引、分区、优化器统计信息、并发、锁、内存管理、复制、存储优化和容量规划。
- 具备使用 ER/Studio、ERwin 或同类工具创建逻辑和物理数据模型的经验。
- 具备 OLTP、OLAP、数据仓库、数据集市和大数据平台经验。
- 具备使用 Apache Spark 和 Kafka 构建可扩展 ETL/ELT、数据集成和分布式处理解决方案的经验。
- 具备扎实的 Python 和 SQL 技能；掌握 Java 或其他面向对象语言者优先。
- 具备 Terraform、Docker、Kubernetes、Git、Linux、Shell 脚本和 CI/CD 实践经验。
- 具备 ServiceNow、Jira 或类似 IT 服务管理和项目管理工具的经验。
- 具备敏捷实践经验，包括 Scrum、Kanban 和测试驱动开发。
- 深入理解关系型、NoSQL、分布式和云原生数据库架构；存储引擎、索引、查询优化、复制、加密、备份与恢复、高可用、灾难恢复及数据库安全。
- 深入了解分布式系统、多层架构、共识算法和可扩展数据平台设计。
- 了解大数据生态系统、数据湖和现代数据存储技术。
- 理解 XML、JSON、模式设计、元数据管理和开源数据库。
- 了解 SAN、NAS、超融合基础设施和云原生存储。
- 具备 AI 和生成式 AI 的实际知识，包括 LLM 集成、向量数据库、RAG、AI 辅助开发和 AI 赋能的数据工程工作流程。
- 深入理解可观测性、监控、SRE 原则和生产运维。
- 能够诊断并解决跨数据库、云环境和分布式系统的复杂生产问题。
- 具备指导工程师并影响架构决策的经验。
- 根据业务需求、职位、成本和适用法律，可能提供签证赞助。
福利待遇
- 年度奖金
- 福利