高级大数据管理员与开发工程师——SMA Solar,班加罗尔现场办公
负责管理 Hadoop、Kafka 和 Druid 集群,支持 SMA Solar 的可再生能源技术运营。自动化数据工作流,优化安全的本地部署基础设施。
描述
- 维护稳定、安全且高效的本地部署大数据环境
- 管理并优化 Hadoop、Kafka 和 Druid 集群
- 主动监控系统运行状况与性能
- 实施和维护监控及告警解决方案,包括 Cloudera Manager 和 Splunk
- 管理基于角色的访问权限、加密和合规控制
- 使用 SQL、NiFi、Python 或 Spark 构建 ETL 工作流、数据传输和分析管道
- 与跨职能团队合作开展架构设计、升级和技术评估
- 提升数据基础设施的可扩展性、可靠性和性能
- 支持自动化、平台优化和战略架构决策
任职要求
- 至少 8 年管理本地部署 Hadoop、Kafka 和 Druid 集群的实践经验
- 具备 HDFS、Hive、Spark、Hue 和 NiFi 方面的企业级经验
- 具备高级 SQL 技能,包括查询调优和性能优化
- 具备扎实的 Linux 管理知识,了解集群维护实践
- 有使用 Ansible、Python、Bash 或类似脚本工具自动化运维的经验
- 优先考虑拥有计算机科学、工程或相关专业学士或硕士学位者
- 优先考虑具备 ETL 管道开发和连接多种数据源经验者
- 优先考虑熟悉云大数据平台者,最好具备 Azure 经验
- 优先考虑了解灾难恢复、高可用性设计和运行手册开发者
- 优先考虑具备出色英语沟通能力,并能在敏捷、跨职能团队中有效协作者
福利待遇
- 灵活的工作时间安排
- 远程办公选项
- 兼职工作机会
- 支持工作与生活平衡
- 机会均等且多元化的工作环境
- 职业发展机会
- 人才管理项目
