시니어 AWS 데이터 엔지니어
GFT Technologies의 Lakehouse 플랫폼 현대화를 담당하는 시니어 AWS 데이터 엔지니어입니다. Python 및 PySpark 파이프라인을 구축하고 데이터 거버넌스, 분석, AI를 지원합니다.
설명
- ETL 도구를 사용해 대규모 데이터 세트를 수집, 정리, 처리합니다.
- 고객의 비즈니스 목표를 정보 관리 및 비즈니스 인텔리전스 전략으로 구체화합니다.
- 정보에 안전하게 접근할 수 있는 데이터 파이프라인을 구축하고 유지 관리합니다.
- 수집한 데이터를 바탕으로 지표와 대시보드를 만들고 정보의 품질과 무결성을 유지합니다.
- Lakehouse 아키텍처, 거버넌스, 품질 관리와 분석 및 AI를 위한 준비를 통해 데이터 플랫폼 현대화를 지원합니다.
- 비즈니스 팀, 대시보드, 보고서를 위한 차원 모델을 설계합니다.
- 데이터 수집과 처리부터 저장, 변환, 활용, 거버넌스까지 데이터 수명 주기 전반에 참여합니다.
- Python, PySpark, AWS 서비스를 사용해 파이프라인을 구축하고 조정합니다.
- Apache Iceberg를 사용해 분석 테이블 관리, 버전 관리, 스키마 진화, 파티셔닝, 성능 튜닝을 수행합니다.
- Athena, Trino, Presto, Spark SQL 등의 엔진으로 Parquet 및 ORC를 포함한 열 형식의 대규모 데이터 세트를 조회합니다.
- 단위 테스트와 성능 테스트, 보안 관행, 접근 제어, 클라우드 모니터링을 구현합니다.
- 데이터 프로세스의 품질, 추적 가능성, 무결성, 효율성을 개선합니다.
지원 자격
- ETL 도구를 사용해 데이터를 수집, 변환, 적재한 경험이 있어야 합니다.
- Python 및 PySpark 사용 경험이 있어야 합니다.
- Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM, CloudWatch 등의 AWS 서비스 사용 경험이 있어야 합니다.
- MongoDB 및 DynamoDB와 같은 NoSQL 데이터베이스와 관련 Hadoop 기술에 대한 지식이 있어야 합니다.
- Lakehouse 아키텍처 및 Apache Iceberg 경험이 있어야 합니다. 분석 테이블 관리, 버전 관리, 스키마 진화, 파티셔닝, 성능 튜닝을 포함합니다.
- Athena, Trino, Presto, Spark SQL 등의 대규모 쿼리 엔진 사용 경험이 있어야 합니다.
- Parquet 및 ORC와 같은 열 형식 데이터 포맷에 대한 지식이 있어야 합니다.
- 사실, 차원, 세분성, 키, 계층 구조, 지표, KPI를 포함한 차원 모델링 경험이 있어야 합니다.
- 정형, 반정형, 비정형 데이터 처리 경험이 있어야 합니다.
- 단위 테스트 및 성능 테스트에 대한 지식이 있어야 합니다.
- 클라우드 환경에서 보안 관행, 접근 제어, 모니터링을 적용한 경험이 있어야 합니다.
- AWS Cloud Practitioner 및 AWS Data Engineer 자격증 보유자는 우대합니다.
- 데이터 품질 및 데이터 관측 가능성 경험이 있으면 우대합니다.
- Terraform과 같은 인프라 코드화 도구 및 CloudWatch와 같은 모니터링 도구에 대한 지식이 있으면 우대합니다.
- Data Mesh에 대한 지식이 있으면 우대합니다.
- 데이터에 인공지능을 적용하는 방법에 대한 지식이 있으면 우대합니다.
- 문제 해결 능력이 있어야 합니다.
- 독립적으로 업무를 수행하고 시간을 효과적으로 관리할 수 있어야 합니다.
복리후생
- 사용 방식과 장소를 유연하게 선택할 수 있는 복지 카드.
- 학부 및 대학원 과정, MBA 프로그램, 어학 과정 장학금.
- 전문 자격증 취득 지원 프로그램.
- 유연 근무 시간.
- 경쟁력 있는 급여.
- 연례 성과 평가 및 체계적인 경력 개발 계획.
- 해외 커리어 기회.
- Wellhub 및 TotalPass 이용.
- 개인 연금 제도.
- 육아 지원.
- 의료 보험.
- 치과 보험.
- 생명 보험.