
初级 ETL 与 GIS 数据工程师
为 Peraton 联邦濒危物种数据集成项目构建 Databricks ETL 与 GIS 验证流水线。 支持云端湖仓数据摄取、数据质量管理和互操作性测试。
描述
- 在云端湖仓暂存环境中构建并部署 Databricks Delta Live Tables 流水线。
- 汇总并规范化来自多个权威来源的分布范围数据。
- 统一空间数据格式和坐标参考系。
- 创建源到目标的数据转换,包括字段映射、类型转换和空值处理。
- 使用具有代表性的分类群运行原型数据摄取工作流。
- 评估摄取结果的完整性、准确性、一致性和空间完整性。
- 记录原型摄取结果、缺陷和补救步骤。
- 编制《原型数据摄取结果报告》。
- 按严重程度和补救状态跟踪数据质量缺陷。
- 使用版本控制维护 ETL 代码,并记录所需的同行评审。
- 协助 GIS 工程师验证空间数据。
- 使用测试数据集、流水线运行和数据验证协助开展互操作性测试。
任职要求
- 满足以下任一教育和经验条件:拥有学士学位且无专业工作经验;拥有副学士学位且有两年专业工作经验;或拥有高中毕业证书或同等学历且有四年专业工作经验。
- 为美国公民。
- 能够获得并维持 Public Trust 安全审查资格。
- 所有工作均须在美国境内完成。
- 具备 Databricks 和 Delta Live Tables 或同类云 ETL 框架的实践经验。
- 具备数据质量验证、源到目标映射和数据转换经验。
- 具备数据建模或记录架构设计的经验。
- 具备记录测试或数据摄取结果并按严重程度记录缺陷的经验。
- 熟练使用 Python 或 Scala 开发 ETL 流水线。
- 熟练使用 SQL 在云端湖仓中查询、验证和转换数据。
- 熟悉地理空间数据格式和坐标参考系。
- 优先条件:具备 AWS GovCloud 或同类 FedRAMP 授权云环境的经验。
- 优先条件:熟悉 ArcGIS 或 QGIS 等 GIS 工具。
- 优先条件:具备联邦数据治理和元数据标准方面的经验。
- 优先条件:拥有 Databricks Associate 认证或同等资质。
福利待遇
- 可能符合加班资格。
- 可能适用轮班津贴。
- 可能获得酌情奖金。
相关职位
