소프트웨어 엔지니어 III—데이터 엔지니어링(첸나이, 현장 근무)
LexisNexis Risk Solutions를 위한 Azure 기반 데이터 파이프라인과 플랫폼을 구축하고 최적화합니다. 여러 비즈니스 영역의 엔터프라이즈 분석, 보고 및 운영 데이터 이니셔티브를 지원합니다.
설명
- Azure Data Factory, Databricks 및 Azure 스토리지 서비스를 사용해 확장 가능한 ETL/ELT 파이프라인을 구축하고 유지 관리합니다
- 관계형 데이터베이스, API 및 파일 기반 소스의 데이터를 Azure 플랫폼으로 로드합니다
- ECL을 사용해 HPCC에서, SparkSQL과 PySpark를 사용해 Azure에서 변환을 생성합니다
- Azure Databricks 노트북과 작업을 개발, 유지 관리 및 최적화합니다
- 대규모 데이터 처리를 위한 고성능 Spark 워크로드를 구현합니다
- ECL을 사용해 HPCC에서, Delta Lake, Parquet 또는 이에 준하는 열 지향 형식에서 데이터 모델을 생성합니다
- 확장성과 성능을 높이기 위해 ECL, SQL 및 Spark 워크로드를 튜닝합니다
- 분석가, 데이터 과학자 및 애플리케이션 팀과 협력해 데이터 요구 사항을 정의하고 엔지니어링 관행을 발전시킵니다
지원 자격
- 고급 SQL 역량과 데이터 변환 로직에 대한 높은 이해도
- 데이터 웨어하우징 원칙과 ETL/ELT 접근 방식에 대한 실무 지식
- Azure Databricks, Spark SQL 및 PySpark 실무 경험
- Azure Data Factory, ADLS Gen2 및 Azure SQL 또는 Synapse 사용 경험
- 대규모 정형 및 반정형 데이터세트를 처리한 경험
- 애자일 소프트웨어 개발 방식에 대한 이해
- 새로운 기술과 운영 프로세스를 배우려는 의지
- 요구 사항과 설계부터 유지 관리까지 전체 소프트웨어 개발 수명 주기(SDLC)에 대한 이해
- 소프트웨어 엔지니어링 원칙, 디자인 패턴 및 개발 모범 사례에 대한 지식
- 요구 사항을 수집하고 명확히 하며 문서화할 수 있는 능력
- 뛰어난 서면 및 구두 커뮤니케이션 능력
- 효과적인 분석 및 문제 해결 능력
- 보험 용어에 대한 이해
복리후생
- 복리후생은 직원의 근무 국가에 따라 다릅니다
- 지원자에게 숙박 및 채용 절차 지원을 제공합니다
- 평등한 고용 기회를 제공합니다
