
数据工程师 – GCP 数据管道,弗吉尼亚州远程办公
在埃森哲联邦服务公司构建可扩展的 Google Cloud 数据管道,该公司为美国联邦政府提供技术服务。 支持分析、人工智能、机器学习和报告相关项目。
描述
- 设计并维护批处理和流式数据管道。
- 从 API、数据库、SaaS 应用和流处理平台摄取并转换数据。
- 使用 Python、SQL、Apache Beam、Spark 和 BigQuery 创建 ETL/ELT 工作流。
- 为分析、报告和机器学习准备经过整理的数据集。
- 开发机器学习特征管道并支持人工智能项目。
- 落实数据质量、测试、监控和治理标准。
- 提升 BigQuery 性能,改进数据模型和存储结构。
- 使用 Cloud Composer(Airflow)编排工作流。
- 支持 Terraform 基础设施即代码和 CI/CD 部署。
- 与数据科学家、机器学习工程师、架构师及业务相关方协作。
任职要求
- 至少 3 年数据工程经验。
- 精通 Python、SQL 和数据建模。
- 具备 GCP 服务实操经验,例如 BigQuery、Dataflow(Apache Beam)、Dataproc(Spark)、Pub/Sub、Cloud Storage(GCS)和 Cloud Composer(Airflow)。
- 具备 ETL/ELT 以及批处理和流式数据管道经验。
- 了解 Terraform、CI/CD 和数据质量实践。
- 优先考虑:具备 Vertex AI、Kafka、Dataplex、Datastream、dbt 或 Looker 使用经验。
- 优先考虑:具备支持机器学习或人工智能工作负载的经验。
- 优先考虑:具备联邦政府或受监管行业经验,包括 FedRAMP、HIPAA 或 NIST 环境。
- 优先考虑:持有 CISSP 或 CCSP 认证。
- 美国申请者必须具备当前及未来均无需签证担保的工作授权。
福利待遇
- 协作互助的团队氛围。
- 实践性强的动手经验。
- 认证机会。
- 行业培训。
- 丰富的福利。




