Simple Machines 是一家澳大利亚咨询公司，业务涵盖数据架构、数据工程、数据科学和软件开发。其顾问为企业、政府机构和全球科技公司设计并构建分布式数据平台与机器学习应用。作为 Confluent 优选合作伙伴，团队还提供 Kafka 咨询与培训；并通过与 Databricks 和 Lightbend 的合作，提供 Spark 和 Scala 咨询与培训。对于正在探索数据工程、数据科学或软件开发职位的人，Simple Machines 提供专注于将数据应用于现实系统的专业咨询环境。
首席数据工程师（远程，波兰）
为 Simple Machines 这家全球技术咨询公司负责云原生数据平台、管道和数据产品的架构与交付。居住在波兰并远程工作，同时制定技术方向并与客户合作。
描述
- 负责现代云原生数据平台从设计到交付的整体架构。
- 通过数据网格、数据产品和数据契约构建可扩展的数据生态系统。
- 制定涵盖数据摄取、存储、处理和访问的架构。
- 确保平台符合安全、合规和生产就绪标准。
- 使用 Databricks、Snowflake、AWS 和 GCP 交付云原生平台。
- 连接客户系统，为数据使用者提供可扩展的数据访问能力。
- 构建并优化批处理和实时数据管道。
- 使用 Kafka、Flink、Kinesis 和 Pub/Sub 实现流处理与消息传递。
- 使用 Airflow、Dataflow 和 Glue 协调工作流。
- 使用 Spark 和 Flink 处理并转换大型数据集。
- 使用关系型、NoSQL 和分析型数据库，包括 Postgres、BigQuery、Snowflake、Cassandra 和 MongoDB。
- 通过 Parquet、Delta、ORC 和 Avro 改进存储格式与访问模式。
- 从一开始就将安全纳入考量，构建安全且合规的解决方案。
- 在不拖慢开发工作流的情况下集成数据治理。
- 直接与客户合作，了解挑战并共同制定解决方案。
- 将业务需求转化为切实可行的工程决策。
- 作为值得信赖的技术伙伴为客户提供建议。
- 制定工程标准、模式和实践规范。
- 审查设计和代码，提供技术指导与辅导。
- 强化数据质量、测试、可观测性和运维实践。
任职要求
- 具备扎实的 Python 和 SQL 技能。
- 拥有 Spark 以及 Databricks 或 Snowflake 等现代数据平台的丰富经验。
- 了解 AWS 或 GCP 上的云数据服务。
- 曾负责大型数据平台的架构设计。
- 具备出色的数据建模能力，并能做出合理的架构决策。
- 在选择解决方案时能够平衡性能、成本和复杂度。
- 曾构建并运维大规模生产数据管道。
- 拥有多种存储技术和数据格式的使用经验。
- 使用 Terraform 或 Pulumi 等基础设施即代码工具。
- 使用 GitHub Actions 或 ArgoCD 等工具构建 CI/CD 管道。
- 使用 dbt、Great Expectations 或 Soda 等数据测试与质量框架。
- 拥有咨询或专业服务领域的经验。
- 能够质疑既有假设，并引导客户取得更好的成果。
- 乐于指导资深工程师并塑造技术文化。
福利待遇
- 参与具有挑战性且能带来切实影响的问题。
- 构建现代平台，而非维护遗留系统。
- 与经验丰富的工程师协作。
- 在工作中拥有自主权并发挥影响力。
- 获得职业发展机会。