
중급 데이터 엔지니어
디지털 전환 컨설팅을 위한 ETL·ELT 파이프라인과 AWS 데이터 레이크 아키텍처를 구축합니다. 데이터 품질, 프로덕션 안정성, 클라우드 비용 효율성을 개선합니다.
설명
- ETL 및 ELT 파이프라인을 구축하고 최적화합니다.
- 여러 소스의 데이터를 통합하면서 품질, 보안, 안정성을 지킵니다.
- 데이터 레이크, 데이터 웨어하우스, 레이크하우스 아키텍처를 개발하고 유지 관리합니다.
- 데이터를 모델링하고 워크플로를 오케스트레이션합니다.
- 프로덕션 시스템을 모니터링합니다.
- 클라우드 성능을 개선하고 비용을 관리합니다.
- 마이그레이션과 기술 문서 작성을 지원합니다.
- CI/CD 워크플로에 기여합니다.
- 여러 직무 분야의 팀과 협업합니다.
- 중간 수준의 복잡성을 가진 프로젝트를 독립적으로 수행합니다.
- 주니어 동료에게 기술 지침을 제공합니다.
지원 자격
- 고급 SQL을 작성하고 쿼리를 최적화할 수 있습니다.
- PySpark, Pandas, Boto3, NumPy를 포함한 데이터 엔지니어링에 Python을 사용합니다.
- S3, Glue, Glue Data Catalog, Athena, Redshift, Lambda, Step Functions, RDS, DynamoDB 등 AWS 서비스 경험이나 지식이 있습니다.
- Apache Airflow와 dbt를 사용해 데이터를 오케스트레이션하고 변환합니다.
- 차원 모델링, 관계형 데이터베이스, NoSQL 기본 개념을 이해합니다.
- 데이터 레이크, 데이터 웨어하우스, 레이크하우스 아키텍처 개념을 이해합니다.
- Git, 풀 리퀘스트, 코드 리뷰, pytest 기반 테스트, CI/CD 기본 사항을 이해합니다.
- CloudWatch로 시스템을 모니터링하고 IAM, KMS, Secrets Manager를 사용해 보안 제어를 적용합니다.
- 데이터 마이그레이션, Terraform 또는 CloudFormation을 이용한 인프라 코드화, 머신러닝의 기본 사항을 이해합니다.
- Kafka, Kinesis, MSK, CDC, Databricks, Delta Lake, Apache Iceberg 또는 Hudi, Docker, Kubernetes, 고급 Terraform, 옵저버빌리티, 데이터 거버넌스 및 계보, AWS DMS 또는 SCT, Power BI 또는 QuickSight, 머신러닝 모델 통합 경험을 우대합니다.
- 중간 수준의 복잡성을 가진 프로젝트를 독립적으로 수행할 수 있습니다.
- 기술 팀 및 비즈니스 팀과 효과적으로 소통하고 분석할 수 있습니다.
- 데이터 품질, 성능, 안정성을 우선시합니다.

