데이터 엔지니어 – 부쿠레슈티 하이브리드 근무
에너지 산업 고객을 위해 확장 가능한 Python, Spark, Kafka, Airflow 파이프라인을 구축합니다. 분석과 머신러닝을 지원하는 클라우드 데이터 레이크와 데이터 웨어하우스를 설계합니다.
설명
- 비즈니스 인텔리전스, 분석 및 머신러닝을 위한 견고한 데이터 파이프라인과 아키텍처를 구축하고 유지합니다
- 데이터 과학자, 분석가, 엔지니어 및 비즈니스 이해관계자와 긴밀히 협업합니다
- 비즈니스 요구사항을 확장 가능하고 효율적인 데이터 솔루션으로 전환합니다
- 비기술 이해관계자에게 복잡한 기술 개념을 명확하게 설명합니다
- 고성능의 확장 가능한 데이터 처리 솔루션을 제공합니다
- 데이터 저장, 검색 및 ETL 워크플로를 개선합니다
- 클라우드 기반 데이터 솔루션의 설계와 개발을 주도합니다
- GitLab을 사용해 버전 관리와 코드 및 배포 파이프라인을 관리합니다
- SQL 쿼리를 작성하고 최적화하며 여러 소스를 데이터 레이크와 데이터 웨어하우스에 통합합니다
- 셸 스크립팅과 관련 도구를 사용해 데이터 파이프라인을 자동화하고 간소화합니다
- 멘토링을 통해 주니어 데이터 엔지니어의 성장을 지원합니다
- 코드 리뷰를 주도하고 엔지니어링 모범 사례를 준수합니다
지원 자격
- STEM 분야의 학사 학위
- 데이터 엔지니어 또는 유사한 직무에서 4년 이상의 경력과 대규모 데이터 솔루션 제공 실적
- 복잡한 쿼리 개발을 포함한 고급 SQL 역량
- 데이터 엔지니어링, 맞춤형 처리 솔루션 및 자동화를 위한 탄탄한 Python 프로그래밍 경험
- 분산 처리 및 배치 처리를 위한 Apache Spark와 Apache Kafka의 풍부한 경험
- Apache Airflow를 사용한 데이터 흐름 오케스트레이션 실무 경험
- AWS 또는 다른 클라우드 제공업체에 대한 탄탄한 경험
- 버전 관리 및 CI/CD 워크플로를 위한 GitLab 활용 능력
- 컨테이너화를 위한 Docker와 Kubernetes 실무 경험
- 데이터 변환을 위한 dbt 경험
- Bash와 같은 셸 스크립팅 경험
- Python 외에 Java 또는 Scala 경험
- Apache Hive 경험
- 데이터 거버넌스, 보안 관행 및 규정 준수 요구사항에 대한 이해
- 애자일 방법론과 여러 기능 조직 간 협업에 대한 이해
- 머신러닝 개념에 대한 이해
- 강력한 문제 해결 능력과 대규모의 복잡한 데이터셋을 다룬 경험
- 팀 간 뛰어난 커뮤니케이션 및 협업 능력
- 주니어 엔지니어를 멘토링하고 기술 리더십을 제공할 수 있는 능력
복리후생
- B2B 협업