远程 Python 数据工程师 — ICF
使用 Python、SQL、PostgreSQL 和 Databricks 为 ICF 构建安全的数据管道与报表集成。 支持 API、数据质量、AWS QuickSight 报表和 DevOps 工作流程。
描述
- 使用 SQL、Python 和 Databricks 创建并维护云端数据管道与转换工作流程。
- 设计并优化 PostgreSQL 对象、查询、数据模型和访问模式。
- 使用 AWS QuickSight 和 Databricks 开发 DataConnect 报表集成。
- 构建 API 服务和可复用组件，以实现安全的数据访问和系统集成。
- 通过提取、转换和加载流程，从多个来源载入数据。
- 维护数据质量检查、验证任务、监控和运营告警。
- 解决数据问题，提升管道的可靠性、性能、可用性和刷新速度。
- 编写单元测试和集成测试，并审查同事的代码。
- 将技术规格和业务需求转化为代码、数据设计和实施文档。
- 与 DevOps 工程师协作开展 CI/CD、基础设施即代码、部署和环境支持。
- 通过安全与隐私控制保护静态和传输中的数据。
- 参与敏捷规划、需求细化、估算和持续改进。
- 完成其他指派的职责。
任职要求
- 学士学位。
- 至少三年软件开发或数据工程实操经验。
- 至少两年使用 SQL 和 Python 或同类编程语言开发数据管道或数据处理解决方案的经验。
- 具备实际 PostgreSQL 使用经验，并深入了解关系型数据库概念和 SQL。
- 具备云数据平台和版本控制开发工作流程方面的经验。
- 能够理解技术规格，并将其转化为可运行的代码和文档。
- 能够获得并维持 Public Trust（公共信任）安全审查资格。
- 必须居住在美国、获准在美国工作，并且在过去五年中有连续三年居住在美国。
- 优先考虑具备以下经验者：Databricks、AWS QuickSight、Spark、Airflow、AWS 数据服务、REST API、TypeScript、CI/CD、GitHub Actions、Terraform、数据治理、元数据、数据沿袭、安全数据共享、敏捷团队和测试驱动开发。
福利待遇
- 平等就业机会。
- 为残障人士、残障退伍军人以及真诚信奉的宗教信仰提供合理便利。
- 提供《保险覆盖透明度法案》中提及的福利项目。