高级数据架构师，CVM 与营销分析——埃及远程办公
负责为 CVM 和营销分析打造可扩展且受治理的数据平台架构。 规划批处理、流处理、湖仓、OLAP 及多租户解决方案。
描述
- 负责数据平台的整体技术架构
- 定义数据的摄取、存储、处理、转换、服务与治理方式
- 构建并持续改进可扩展的批处理和流处理架构
- 使用开放表格式和合适的查询引擎开发湖仓设计
- 为分析工作负载设计实时服务和 OLAP 架构
- 为数据管道、模式演进、数据质量、血缘和访问控制制定标准
- 建立 ETL/ELT 工作流和数据处理的架构模式
- 指导平台中 Spark、Kafka、Airflow、SQL 及相关技术的使用
- 创建针对规模、性能、成本效率和多租户进行优化的平台
- 评估架构权衡，并清晰传达技术决策
- 为数据团队创建可复用的架构模式和工程标准
- 支持同一数据平台架构的多个客户部署
- 在适当情况下参与数据网格和数据产品运营模式的建设
- 与数据工程师及技术利益相关者合作，确保标准得到一致实施
- 发现架构瓶颈，提升可靠性、可扩展性和处理效率
- 制定模式管理、数据治理和数据生命周期管理的技术策略
- 为自管理和本地部署基础设施环境设计解决方案
任职要求
- 具备数据架构师、技术数据架构师或类似高级架构岗位的实践经验
- 拥有超越数据管道开发与交付、负责数据平台架构的经验
- 具备批处理和流处理数据方面的扎实实践经验
- 深入了解数据架构、ETL/ELT、数据仓库和湖仓设计
- 熟练掌握 Apache Spark、Kafka、Airflow 和高级 SQL
- 具备湖仓架构、开放表格式及查询引擎集成设计经验
- 具备实时数据服务架构和 OLAP 数据存储设计经验
- 扎实掌握数据建模、模式设计和模式演进
- 具备制定数据质量、血缘、治理和访问控制标准的经验
- 具备设计和运营自管理或本地部署数据基础设施的经验
- 深入理解分布式处理和可扩展数据平台
- 具备多租户数据架构设计经验，能够权衡隔离性与性能
- 能够从可扩展性、性能、可靠性、运营复杂度和成本等方面评估架构决策
- 具备支持同一数据平台多客户部署的经验者优先
- 熟悉数据网格和数据产品运营模式
- 深入理解数据生命周期管理和平台可靠性
- 能够为数据工程团队建立技术标准并提供架构指导
- 具备向技术利益相关者解释复杂架构决策和权衡的优秀沟通能力
- 具备与数据工程师、平台工程师及其他技术团队密切合作的经验