高级数据工程软件开发人员(主题专家)– 华盛顿特区
面向国防部和DISA环境,负责设计安全的Kafka、Elastic和AWS数据管道的高级数据工程专家。该职位重点关注数据平台、CI/CD、可观测性和企业级分析。
描述
- 为复杂数据源设计并运营可扩展的数据系统和管道
- 将网络运营数据统一到一致且易于访问的平台中
- 构建和维护Kafka、Elastic和Logstash数据摄取与处理管道
- 自动化ETL/ELT工作流,包括验证、清洗、监控和处理
- 使用Confluent Kafka、Elastic Stack、AWS以及Red Hat OpenShift/Kubernetes交付数据解决方案
- 开发和管理数据仓库与数据湖
- 使用React、JavaScript和HTML支持Kibana仪表板与可视化
- 提升数据摄取吞吐量、查询性能、索引性能、存储效率和集群性能
- 诊断涉及数据摄取、处理、存储、内存、分区和性能的问题
- 按照国防部和DISA要求维护数据质量、安全性与合规性
- 参与CI/CD管道、版本控制和DevOps流程
- 与分析师、可视化工程师、软件开发人员及其他利益相关者协作
- 维护数据架构、集成、配置、流程和运行手册相关文档
任职要求
- 持有有效的TS/SCI安全许可
- 持有当前有效的Security+认证或更高级别或同等认证
- 拥有计算机科学、工程或相关技术领域的学士学位并具备12年或以上相关经验,或拥有上述领域的硕士学位并具备10年或以上相关经验
- 具备设计、构建和维护ETL/ELT管道以及集成异构数据源的实践经验
- 具备数据仓库或数据湖经验,包括AWS Redshift、Amazon S3、Hadoop、Snowflake或同类平台
- 具备Elastic Stack和/或Kafka经验
- 具备Linux/UNIX系统管理和自动化经验
- 具备CI/CD管道、容器化管道、Git、Bitbucket和DevOps方法经验
- 了解网络运营数据,例如日志、指标、事件、工单和CMDB记录
- 精通Python、Java、SQL和Shell脚本编程
- 了解数据安全、访问控制以及国防部、DISA、RMF和STIG要求
- 愿意并能够完成和持续维护额外的客户适任性审查
