데이터 엔지니어, Databricks 및 PySpark
AXON Networks의 AI 기반 통신 오케스트레이션 플랫폼을 위한 Databricks, PySpark, SQL 파이프라인을 구축하고 운영합니다. 레이크하우스 데이터 세트의 추적 가능성, 테스트 및 프로덕션 준비 상태를 유지하도록 지원합니다. 근무지는 마드리드입니다.
설명
- Databricks, PySpark, SQL을 사용해 확장 가능한 데이터 수집 및 변환 파이프라인을 개발합니다.
- 데이터 수집 및 처리를 위한 Databricks Jobs와 Workflows를 생성하고 유지 관리합니다.
- 레이크하우스 데이터 세트를 구축하고 스키마 변경 및 데이터 계약을 관리하며, 상위 데이터 소스를 추적할 수 있도록 합니다.
- 데이터 품질과 최신성을 유지하여 다운스트림 사용자가 요구된 처리 시간 내에 신뢰할 수 있는 데이터 세트를 받도록 합니다.
- 데이터 파이프라인을 위한 자동화된 단위, 통합 및 회귀 테스트를 만들고 유지 관리합니다.
- QA 및 프로덕션 환경의 파이프라인 문제를 조사하고 근본 원인을 찾아 수정합니다.
- Spark 작업과 데이터 변환을 최적화해 성능과 효율성을 높입니다.
- 개발, 품질 보증, DevOps, 제품 관리 및 딜리버리 팀과 소프트웨어 수명 주기 전반에 걸쳐 협업합니다.
- 프로덕션 플랫폼에서 대규모 통신 데이터를 직접 다룹니다.
지원 자격
- 컴퓨터 과학 또는 관련 분야의 학사 또는 석사 학위.
- 데이터 엔지니어링 또는 유사 직무에서 2년 이상의 실무 경력.
- Python, PySpark, SQL 실무 경험.
- 데이터 모델링 및 레이크하우스 개념에 대한 이해.
- 자동화 테스트 및 Git 기반 개발 워크플로에 대한 지식.
- 데이터 처리 문제의 문제 해결을 포함한 뛰어난 분석력과 문제 해결 능력.
- 영어와 스페인어에 능통함.
- 마드리드에서 하이브리드 근무가 가능함.
- Apache Spark 및 Databricks를 사용한 ETL 또는 ELT 파이프라인 구축 경험.
- Delta Lake, Medallion Architecture, 스키마 진화 또는 데이터 계약 관련 경험.
- Databricks Jobs 또는 Workflows 및 워크로드 최적화 경험.
- 대용량 또는 통신 데이터 세트 작업 경험.
- 검토를 받으려면 지원서를 영어로 제출해야 합니다.
복리후생
- 경쟁력 있는 급여 및 인센티브 제도.
- 유연근무제 및 원격근무.
- 무료 주차 또는 Pluxee 교통 패스.
- Pluxee 식사 패스.
- 가족 전체를 위한 민간 의료보험.
- 국제적인 환경에서 일할 기회.
- 생일 유급 휴가.
