
데이터 엔지니어 4, Python, AWS 및 Spark — Capital One, 뉴욕시
Capital One에서 안전한 클라우드 우선 스트리밍 데이터 플랫폼을 개발하고 개인화된 마케팅 경험을 지원하는 정규직 대면 근무 데이터 엔지니어 직무입니다. Python, Spark, Kafka, SQL, Snowflake 및 Databricks를 사용해 레이크하우스 솔루션을 구축합니다.
설명
- 복원력과 확장성을 갖춘 클라우드 우선 데이터 솔루션, 레이크하우스 아키텍처 및 실시간 스트리밍 파이프라인을 독립적으로 설계, 개발, 테스트 및 배포
- 개발, 데이터 분석 및 데이터 과학 전반의 여러 기능으로 구성된 애자일 팀을 이끌고 영향력을 발휘
- 코드 품질, 유지 관리성 및 운영 효율성을 향상하는 공통 데이터 엔지니어링 패턴 적용
- Python, SQL, Scala, Spark, NoSQL 데이터베이스, 오픈 소스 관계형 데이터베이스, Databricks 및 Snowflake를 사용해 개발
- 전송 중 및 저장 시 암호화, 세분화된 액세스 제어, 데이터 품질 조치, 거버넌스 및 허용된 사용 기준 구현
- 디지털 제품 관리자 및 소프트웨어 엔지니어와 협업해 신뢰할 수 있는 솔루션을 제공하고 고객 경험 개선
- 기술 및 비기술 이해관계자 모두에게 기술 개념과 데이터 분석 결과 설명
- 기술 발전을 추적하고 엔지니어링 커뮤니티에 기여하며 대화형 AI 도구를 사용해 제공 속도 향상
- 단위 테스트 및 코드 동료 검토 수행
- 시스템 성능, 관측 가능성 및 다운스트림 사용자를 위한 지원 개선
- 자체 광고 기술 채널과 유료 광고 기술 채널 전반에서 개인화된 옴니채널 메시징과 경험을 제공하는 확장 가능한 플랫폼 구축
지원 자격
- 컴퓨터 과학 또는 통계학, 경제학, 운영 연구, 분석학, 수학, 공학과 같은 관련 정량 분야의 학사 학위 이상
- 인턴십을 제외한 애플리케이션 개발 경력 최소 4년
- 분산 데이터 작업 경력 최소 2년
- SQL 경력 최소 2년
- Python, Java 또는 Scala 경력 최소 2년
- 데이터 파이프라인을 설계하고 개발한 경력 최소 2년
- 관계형 및 비관계형 데이터베이스를 사용해 데이터를 모델링하고 엔드투엔드 솔루션을 설계한 경력 최소 1년
- 신규 지원자는 고용주의 이민 비자 후원 또는 이민 관련 지원 대상이 아닙니다
- 우대 조건: 컴퓨터 과학, 데이터 엔지니어링, 정보 시스템 또는 관련 기술 분야의 석사 학위
- 우대 조건: Python, SQL, Spark, Scala 또는 Java를 사용한 애플리케이션 개발 경력 7년 이상
- 우대 조건: AWS, Azure 또는 GCP에서 퍼블릭 클라우드 데이터 워크로드를 설계, 배포 및 운영한 경력 4년 이상
- 우대 조건: EMR, Spark, AWS Glue, Databricks, MapReduce, Hadoop 또는 Hive를 사용해 분산 데이터 또는 컴퓨팅 워크로드를 구축한 경력 4년 이상
- 우대 조건: Kafka와 같은 실시간 스트리밍 애플리케이션을 설계, 구현 및 운영한 경력 4년 이상
- 우대 조건: Snowflake 또는 Redshift와 같은 데이터 웨어하우스를 설계하고 관리한 경력 4년 이상
- 우대 조건: NoSQL 시스템을 구현하고 MongoDB, Cassandra 또는 DynamoDB로 반구조화 데이터 솔루션을 구축한 경력 4년 이상
- 우대 조건: UNIX 또는 Linux 환경에서 기본 명령어와 셸 스크립팅을 사용한 경력 4년 이상
- 우대 조건: 데이터 오케스트레이션 또는 데이터 관측 가능성 도구를 사용한 경력 2년 이상
- 우대 조건: 재사용 가능하고 사용자 중심적인 데이터 제품을 개발한 경력 2년 이상
- 우대 조건: 애자일 엔지니어링 및 딜리버리 환경에서 근무한 경력 2년 이상
- 우대 조건: Claude Code 또는 GitHub Copilot과 같은 대화형 AI 도구를 실무에서 사용한 경험
복리후생
- 성과 기반 인센티브 보상에는 현금 보너스 및/또는 장기 인센티브가 포함될 수 있습니다
- 전반적인 웰빙을 지원하는 포괄적이고 경쟁력 있으며 포용적인 건강, 재정 및 기타 복리후생
- 필요한 지원자에게 합리적인 편의를 제공합니다
- 기회 균등과 차별 금지를 약속합니다
- 약물 없는 직장








