首席 Snowflake 数据工程师(合同制)—曼彻斯特混合办公
主导 Insight Investment 受治理的 Snowflake 数据平台建设。 打造数据管道、数据标准与分析能力,助力 AI 应用落地。
描述
- 协助设计并构建基于 Snowflake 及相关工具的稳健、可扩展数据平台。
- 推进 Insight 数据战略,并向管理层和交付团队分享成果。
- 制定全公司适用的数据摄取、治理、转换、存储与访问规范。
- 提升 ELT 数据管道的性能。
- 配置高级分析与 AI 工具,推动其应用。
- 与云工程团队合作,扩大基础设施即代码的应用范围。
- 确保技术设计符合内部数据、隐私、安全与合规政策。
- 跟踪 Snowflake 和大数据领域的发展,并推荐实用的新技术。
- 在数据平台团队中协作,采用敏捷实践交付云解决方案。
- 与业务团队合作,并参与安全系统开发生命周期(S-SDLC)的各个阶段。
任职要求
- 熟悉 Snowflake 功能,包括虚拟仓库、Tasks 和 Streams、Snowpipe、Snowpark、分布式 UDF 和存储过程、Time Travel 与克隆。
- 具备端到端 Snowpark 数据管道交付经验;具备 PySpark、Polars 或 Dask 等可迁移框架的经验也适用。
- 熟悉带有 Jinja 模板的 DBT,或同类数据转换框架。
- 掌握 Python,包括构建工具、自动化测试框架和良好的工程实践。
- 掌握 SQL,包括针对 Snowflake 优化的查询。
- 具备 CI/CD 管道经验,熟悉 GitHub Actions、TeamCity 或 Artifactory 等工具。
- 主动独立地解决问题。
- 能够清晰地表达抽象或复杂的想法与解决方案。
- 坚持良好的软件工程原则,重视工作质量。
- 具备在敏捷团队中工作并以迭代方式交付成果的经验。
- 能够与终端用户、利益相关方、团队及同事协作。
- 愿意拓展技术知识,并鼓励团队采用新技术或新方法。
- 勇于承担错误责任,愿意与同事共同解决问题、吸取教训并持续改进。
- Docker。
- Java 或 Scala。
- 具备使用 Kafka、Pulsar 或 Azure Event Hubs 等技术的事件流处理经验。
- 具备与 Collibra 集成的经验。
- Apache Iceberg。
- Apache Arrow。
- PySpark。
- 具备 AI 工程经验,熟悉 Snowflake AI、LangChain、LlamaIndex 或 Pinecone 等技术。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
