远程数据库分析工程师
为 VXForward 技术解决方案客户构建 Databricks 数据管道和 ETL 系统。 为政府信息团队及 Power BI 报告提供经过验证、可用于分析的数据集。
描述
- 在 Databricks 及其他分析和运营系统中构建并支持数据管道。
- 从企业级 CDW 云环境提取数据，并提供可靠、可用于分析的数据集。
- 维护企业级 CDW、云工作组和运营系统之间的双向数据流动。
- 支持 NTSP 工作流、流程、计划、项目和各项举措。
- 制定权威数据规则、解决冲突并维护同步完整性。
- 使用 SQL、Spark SQL、PySpark 和 Python 开发并维护 ETL/ELT 流程。
- 编写可复现、受版本控制且可审计的代码。
- 构建患者匹配和记录关联逻辑，包括审计以往的匹配结果。
- 统一不同机构和来源的数据集标准。
- 在数据提取和交付过程中自动执行验证检查。
- 创建数据流图。
- 为政府信息团队整理干净、结构清晰的数据，以供其在 Power BI 和其他报告平台中使用。
- 编写管理员和技术文档，并支持在任务订单结束时将其移交给政府。
- 准备管理员培训材料和演示文稿。
- 制定过渡计划，明确维持 NTSP 工作所需的工作频率和技能。
- 持续为已开发的应用程序和文档提供技术支持、维护、改进、更新及过渡支持。
任职要求
- 具备构建、测试、实施、改进、维护和支持云数据管道的经验，包括 Databricks。
- 具备企业级云 CDW 环境以及分析或运营系统方面的经验。
- 熟练使用 SQL 或 Spark SQL、PySpark 和 Python。
- 具备开发 ETL/ELT 数据提取和转换流程的经验。
- 具备使用多个标识符实施患者匹配和记录关联的经验。
- 具备统一不同机构和来源数据集标准的经验。
- 具备创建自动验证检查、缺失数据报告、范围检查和不可能值检查的经验。
- 具备创建数据流图并记录输入、输出、来源、更新计划和内部控制的经验。
- 具备为 Power BI 或其他分析报告平台准备经过良好建模的数据的经验。
- 具备编写管理员和技术文档、培训材料、演示文稿及过渡计划的经验。
- 能够提供持续的技术支持、维护、改进和更新。
- 能够独立工作并与团队协作。
福利待遇
- 参与富有意义、影响深远的项目。
- 持续获得学习和成长的机会。
- 使用现代技术。
- 在协作型团队环境中工作。
- 参与能够带来积极改变的工作。
- 兼顾工作与生活。
- 平等机会雇主。
- 获得职业发展的机会。
- 获得咨询和合同合作机会。
