数据工程师(中高级,英国远程)
负责 Civic Marketplace 政府采购平台的数据基础建设,涵盖实体解析、规范化模型、可靠数据摄取和面向 AI 的检索。作为公司首位专职数据工程师,该职位将主导数据质量、数据溯源和向量管道工作。
描述
- 负责支持分析和智能采购的可靠规范化采购数据集
- 调查并解决供应商、机构、招标、合同和中标报价相关的数据质量问题
- 为 API、文件、抓取内容、PDF 及其他外部来源构建可观测、可靠且注重成本的数据摄取管道
- 匹配不同法定实体、替代拼写、商号、子公司、注册信息和标识符中的供应商记录
- 为供应商、合同、商品和机构建立共享的规范化模型
- 实现测试、数据血缘、时效性、溯源和自助式数据工具
- 为智能工作流规划数据摄取与存储,并改进 Pinecone 等用于 RAG 的向量系统
- 与工程负责人合作制定数据和平台架构
- 开发数据管道,参与值班支持,并将错误数据追溯至来源
- 与产品工程、客户成功团队和增长负责人合作
- 作为 Civic Marketplace 首位专职数据工程师,与工程负责人共同领导该职能
任职要求
- 有在初创公司或规模化成长公司构建数据平台的经验,而非仅维护继承而来的系统
- 具备高级 SQL 和 Python 技能,并能判断何时数据仓库并非合适方案
- 有设计供他人使用的数据模型的证明,并清楚了解会如何改进该模型
- 实际处理过不可靠的外部输入,例如未记录的 API、文件投递、抓取页面、PDF 以及无法控制的数据
- 具备实体解析或记录关联经验,或展现出解决此类问题的能力
- 具备商业判断力,能够优先处理影响收入的数据问题,而非仅关注有趣的缺陷
- 采用诊断式方法,在实施修正前先找出指标错误的原因
- 具备系统思维,专注于可扩展的数据基础设施,而非一次性管道
- 对 AI 技术具有扎实的实践能力
- 能在快速变化的初创环境中保持韧性和建设性态度
- 能够在监督有限的情况下独立远程工作,并跨时区协作
- 对公共部门数据感兴趣
- 拥有政府科技、公共部门技术、公民科技、公共记录或开放数据经验者优先
- 了解供应商和采购数据,包括 SAM.gov、UEI、DUNS、NAICS、UNSPSC、合作采购、COG 或 NIGP 者优先
- 有使用 OpenSearch、Elasticsearch 或 Pinecone、Milvus 等向量系统支持 LLM 产品的经验者优先
- 具备英语和西班牙语双语沟通能力者尤佳
- 有担任首位数据岗位员工的经验者优先
福利待遇
- 具有竞争力的薪酬及早期阶段股权
- 全面的医疗、牙科和视力保险
- 灵活的带薪休假
- 远程优先,并提供充分的时区灵活性
- 可使用广泛的 AI 工具套件,包括 Claude Pro、HubSpot、Make 和 Notion
- 定期举办团队线下聚会,包括国际聚会
- 直接与创始人合作,深度参与公司建设
