数据工程师 III – AWS 与 MarkLogic（远程）
为 Republic Services 的环境服务业务构建 AWS 数据湖、数据摄取管道和分析平台。 开发 MarkLogic API、Snowflake 数据仓库和流式数据架构。
描述
- 创建代码和数据管道，从关系数据库、文件共享和 Web 服务中摄取信息
- 使用 Kinesis Streams、Kinesis Firehose、Kinesis Analytics 和 Kafka（MSK）实现流式数据摄取
- 通过分区和压缩构建高性能 AWS S3 数据湖
- 使用 AWS Glue、Informatica、EMR、Spark、Athena 和 Python 提供数据工程与分析解决方案
- 开发数据模型和 Snowflake 数据仓库
- 创建 JavaScript 模块和 MarkLogic REST API，以实现高级搜索功能
- 将 MarkLogic 与现有企业平台集成
- 参与需求定义、系统架构和数据架构设计
- 在敏捷方法下支持完整的软件开发生命周期
任职要求
- 至少 7 年企业信息解决方案架构、设计和开发经验
- 至少 7 年集成架构经验，例如 SOA、微服务、ETL 或相关技术
- 至少 7 年内容或知识管理系统、搜索引擎、关系数据库或 NoSQL 数据库、ETL 工具、地理空间系统或语义技术经验
- 至少 5 年 MarkLogic 框架实操经验；有 DynamoDB 经验者优先
- 至少 5 年 AWS 服务实操经验，包括 S3、Kinesis、Lambda、Athena 和 EMR
- 至少 5 年使用 SAS、R、Python 或其他高级统计软件分析工具的经验
- 至少 5 年使用 Angular、JavaScript 和 Node.js 的 Web 开发经验
- 具备 JSON 或 XML 数据建模方面的专业经验
- 具备 Git/GitHub、分支管理和现代源代码管理实践经验
- 了解 NoSQL 或关系数据库领域
- 了解数据库架构和性能相关因素
- 具备集成 Qlik Sense、Tableau 或 Power BI 等商业智能应用的经验
- 具备机器学习和人工智能经验
- 能够有效管理多项任务
- 能够在敏捷团队中协作
- 具备高级 Python、JavaScript 和 Java 知识及经验
- 具备出色的书面和口头沟通能力，拥有责任感、紧迫感和进取心
- 计算机科学、计算机信息系统、工程、统计学或密切相关领域的学士学位
- 具备使用 AWS 服务进行数据和分析工作的经验
- 至少 5 年数据摄取、提取和集成经验
福利待遇
- 全面的医疗、牙科和视力保险
- 医疗保健和受抚养人护理支出账户
- 短期和长期伤残保险
- 人寿保险及意外身故和肢解保险
- 员工及家庭援助计划（EAP）
- 员工折扣计划
- 提供丰厚公司匹配的退休计划
- 员工股票购买计划（ESPP）
- 带薪休假（PTO）