Groundswell 数据工程师：遗留系统与 AI 工作流（美国远程）
为联邦技术集成商 Groundswell 构建安全的 ETL/ELT 流水线和 AI 工作流。该岗位重点关注数据质量、治理、安全性，以及可靠的任务导向型应用。
描述
- 构建并运行批处理和流式 ETL/ELT 流水线，将结构化和半结构化数据传输至安全的云平台。
- 通过评估模式、映射、接口、验证规则、责任归属和运营支持流程，集成遗留数据源。
- 实施自动化检查，确保数据完整性、准确性、一致性、及时性和引用完整性，并配合监控与告警。
- 通过 SOAP API、工作流编排和环境特定配置，实现部署与流水线运营自动化。
- 利用日志、指标、数据血缘和运营信号诊断分布式系统故障，并沟通故障原因和恢复计划。
- 与工程、云、数据科学、安全、架构和客户团队合作，将任务需求转化为可衡量的数据产品。
任职要求
- 计算机科学、计算机工程、数学、统计学或相关技术专业的学士学位。
- 至少五年的专业数据工程经验，包括生产级流水线开发和运营。
- 熟练掌握 Python、Java、R 或数据工程中使用的其他编程语言。
- 具有使用 SOAP API 进行数据交换的遗留系统工作经验。
- 具有为生产级流水线实施数据质量框架、验证流程、监控和告警的经验。
- 了解受监管、受限或以合规为重点的环境中的数据安全、访问控制、加密、可审计性和治理。
- 具有 SOAP 或 REST API 以及 JSON、XML、CSV 和 Parquet 等结构化格式的经验。
- 能够记录技术决策，并与跨学科团队和客户利益相关者协作。
- 根据合同条款，要求为美国公民。
- 能够根据合同要求取得并维持公共信任安全许可。
- 有为 LLM 及其他 AI/ML 工作流创建预处理、分块、过滤、元数据丰富或评估流水线的经验者优先。
- 有运营分段网络、连接受限、变更控制严格或具有正式授权要求的数据平台经验者优先。
- 具备高级 SQL 技能者优先，包括查询优化、数据建模、连接、窗口函数和大型数据集分析。
- 有使用 Jupyter Notebook 或同类数据分析工具的经验者优先。
- 有使用 NumPy 和 pandas 等 Python 库的经验者优先。
- 有主要云服务商的实际操作经验者优先；强烈优先考虑 AWS 经验。
- 有 C3.ai 经验者优先。
- 持有有效公共信任安全许可者优先。
- 优先考虑位于华盛顿特区大都会区的候选人。
- 持有 AWS Data Engineer、Databricks、云数据工程或其他相关专业认证者优先。
福利待遇
- 医疗、牙科和视力保险。
- 灵活支出账户。
- 401(k) 计划，提供 4% 匹配并立即归属。
- 带薪休假。
- 学费报销、认证项目和职业发展支持。
- 灵活的工作时间安排。
- 现场健身房和托儿服务选项。