高级数据工程师，BigQuery
为 Vultr 全球云基础设施平台构建可靠的 BigQuery 数据管道和受治理的数据集。 与工程、商业智能和数据科学团队合作，支持企业分析。
描述
- 构建并维护导入 BigQuery 的运营数据管道，并按需采用增量加载和变更数据捕获。
- 创建铜层、银层和金层数据集，包括共享业务实体和报告指标。
- 自动化源系统与目标数据集之间的数据验证和核对。
- 将更新、删除及历史源数据更正传递到下游数据集。
- 监控管道健康状况，管理异常和架构变更，并记录恢复流程和数据沿袭。
- 与商业智能和数据科学团队合作，提供文档齐全且高性能的数据集。
- 与工程团队及业务系统负责人协调，解决源数据缺口并制定可靠的数据交接方式。
- 在约定的企业架构范围内制定并落实有关测试、部署、安全和成本管理的工程标准。
- 审查现有管道并建立可重复执行的工程实践。
- 为优先报告需求交付生产级数据集。
- 引入初步的数据质量控制和监控。
- 核实历史源数据更正是否准确反映在下游报告中。
任职要求
- 至少五年数据工程经验，包括负责生产数据管道的经验。
- 精通 SQL，具备扎实的 Python 能力。
- 具备 BigQuery 生产环境经验，包括分区、集群、查询性能和成本控制。
- 具备使用 dbt、Airflow、Cloud Composer、Dagster 或同类工具进行数据转换和编排的经验。
- 具备从运营数据库提取数据，并管理增量加载、更新、删除、回填和历史更正的经验。
- 深入理解维度建模和历史数据跟踪。
- 具备自动化数据质量检查、核对、监控、告警和恢复经验。
- 具备使用 Git、代码审查、自动化测试和 CI/CD 的经验。
- 能够与工程、分析和业务团队协作。
- 具备使用 MySQL、ClickHouse、Kafka 或 Google Pub/Sub 的经验。
- 熟悉 Parquet、存储效率以及 Spark 或 PySpark。
- 能够通过应用程序代码或 ORM 追踪数据定义和业务逻辑；熟悉 PHP 为加分项。
- 具备 Salesforce、NetSuite、Power BI 或同类系统的经验。
- 熟悉 IAM、服务账号、最小权限访问和安全的工作负载身份验证。
- 具备使用元数据、数据沿袭或数据可观测性工具的经验。
- 具备将 AI 或自动化应用于管道运维、事件调查或面向 LLM 应用的受治理数据访问的经验。
- 具备云基础设施、电信、数据中心或其他资产密集型行业的经验。
福利待遇
- 公司承担员工医疗、牙科和视力保险保费的 100%。
- 401(k) 按员工缴款的 100% 提供配比，配比上限为工资的 4%，立即归属。
- 每年最高 2,500 美元的职业发展费用报销。
- 11 天假日、累积式带薪休假及结转计划。
- 入职三周年和十周年时可获得额外带薪休假。
- 每五年可享一个月带薪休假。
- 年度周年奖金。
- 远程办公设备补贴：第一年 500 美元，之后每年 400 美元。
- 每月最高报销 75 美元的网络费用。
- 每月最高报销 50 美元的健身房会员费。
- 公司付费的 Wellable 订阅。