RELX 面向全球专业人士和企业客户，开发基于信息的分析工具和决策工具。其产品融合专业内容、数据与技术，助力风险管理、科学技术与医学、法律及展览等领域作出更明智的决策并取得更佳成果。RELX 还涉足咨询、医疗保健和保险相关市场，帮助组织提升生产力、管理风险、推动研究、支持法律工作，并更高效地开展商业交易。
软件工程师 III，数据工程 - RELX，钦奈现场办公
为LexisNexis Risk Solutions构建Azure和HPCC数据管道。开发支持风险分析、报告和运营数据需求的可扩展平台。
描述
- 使用Azure Data Factory、Databricks和Azure存储服务创建并维护可扩展的ETL和ELT管道
- 将关系型数据库、API和基于文件的数据源加载到Azure数据平台
- 使用ECL在HPCC上转换数据，并通过Azure Databricks使用Spark SQL和PySpark在Azure中转换数据
- 开发、维护和改进Azure Databricks笔记本与作业
- 构建高效的Spark工作负载以处理大型数据集
- 使用ECL在HPCC上创建数据模型，并在Delta Lake、Parquet及其他列式格式中创建数据模型
- 优化ECL、SQL和Spark工作负载，以提升性能和可扩展性
- 与业务分析师、数据科学家和应用团队合作，明确数据需求并推进工程实践
- 开发和完善可靠、可扩展且安全的企业数据平台和管道
- 为分析、报告和运营用例提供数据解决方案
任职要求
- 在SQL和数据转换逻辑方面具备扎实能力
- 了解数据仓库原理以及ETL/ELT模式
- 具备Azure Databricks、Spark SQL和PySpark的实际经验
- 具备Azure Data Factory、Azure Data Lake Storage Gen2以及Azure SQL或Synapse的经验
- 具备处理大型结构化和半结构化数据集的经验
- 熟悉敏捷开发实践
- 具备建设性思维，愿意学习新工具和流程
- 了解软件开发生命周期，包括从需求和设计到实施、测试、部署及维护的各个阶段
- 了解软件工程原理、设计模式和开发最佳实践
- 能够收集、明确并记录需求
- 具备良好的书面和口头沟通能力
- 具备出色的分析和解决问题能力
- 熟悉保险术语
福利待遇
- 福利根据员工所在国家而有所不同
- 在招聘过程中提供住宿或其他调整方面的支持