Groundswell 데이터 엔지니어: 레거시 시스템 및 AI 워크플로우(미국 원격)
연방 기술 통합업체인 Groundswell을 위해 안전한 ETL/ELT 파이프라인과 AI 워크플로우를 구축합니다. 데이터 품질, 거버넌스, 보안, 신뢰할 수 있는 미션 중심 애플리케이션에 중점을 두는 역할입니다.
설명
- 구조화 및 반구조화 데이터를 안전한 클라우드 플랫폼으로 이동하는 배치 및 스트리밍 ETL/ELT 파이프라인을 구축하고 운영합니다.
- 스키마, 매핑, 인터페이스, 검증 규칙, 소유권 및 운영 지원 절차를 평가하여 레거시 데이터 소스를 통합합니다.
- 모니터링 및 알림을 지원하는 자동 검사를 구현하여 데이터 완전성, 정확성, 일관성, 적시성 및 참조 무결성을 보장합니다.
- SOAP API, 워크플로우 오케스트레이션 및 환경별 구성을 통해 배포와 파이프라인 운영을 자동화합니다.
- 로그, 메트릭, 데이터 계보 및 운영 신호를 사용해 분산 시스템 장애를 진단하고 원인과 복구 계획을 공유합니다.
- 엔지니어링, 클라우드, 데이터 과학, 보안, 아키텍처 및 고객 팀과 협력하여 미션 요구사항을 측정 가능한 데이터 제품으로 전환합니다.
지원 자격
- 컴퓨터 과학, 컴퓨터 공학, 수학, 통계학 또는 관련 기술 분야의 학사 학위.
- 프로덕션 파이프라인 개발 및 운영을 포함한 5년 이상의 전문 데이터 엔지니어링 경력.
- Python, Java, R 또는 데이터 엔지니어링에 사용되는 다른 프로그래밍 언어에 능숙해야 합니다.
- SOAP API를 사용해 데이터를 교환하는 레거시 시스템 관련 경험.
- 프로덕션 파이프라인을 위한 데이터 품질 프레임워크, 검증 프로세스, 모니터링 및 알림 구현 경험.
- 규제 대상, 제한된 환경 또는 컴플라이언스 중심 환경에서 데이터 보안, 접근 제어, 암호화, 감사 가능성 및 거버넌스에 대한 실무 지식.
- SOAP 또는 REST API와 JSON, XML, CSV, Parquet를 포함한 구조화 형식에 대한 경험.
- 기술적 의사결정을 문서화하고 여러 분야의 팀 및 고객 이해관계자와 협업할 수 있는 능력.
- 계약 조건에 따라 미국 시민권이 필요합니다.
- 계약에서 요구하는 경우 Public Trust Clearance를 취득하고 유지할 수 있어야 합니다.
- LLM 및 기타 AI/ML 워크플로우를 위한 전처리, 청킹, 필터링, 메타데이터 보강 또는 평가 파이프라인 구축 경험이 있으면 우대합니다.
- 네트워크가 분할되고 연결이 제한되며 변경 관리가 엄격하거나 공식 승인 요건이 있는 데이터 플랫폼 운영 경험이 있으면 우대합니다.
- 쿼리 최적화, 데이터 모델링, 조인, 윈도우 함수 및 대규모 데이터셋 분석을 포함한 고급 SQL 역량이 있으면 우대합니다.
- Jupyter Notebook 또는 이에 준하는 데이터 분석 도구 사용 경험이 있으면 우대합니다.
- NumPy와 pandas를 포함한 Python 라이브러리 사용 경험이 있으면 우대합니다.
- 주요 클라우드 제공업체의 실무 경험이 있으면 우대하며, AWS 경험을 강하게 선호합니다.
- C3.ai 경험이 있으면 우대합니다.
- 유효한 Public Trust Clearance를 보유한 경우 우대합니다.
- 워싱턴 D.C. 대도시권에 거주하는 지원자를 우선합니다.
- AWS Data Engineer, Databricks, 클라우드 데이터 엔지니어링 또는 기타 관련 전문 자격증을 보유한 경우 우대합니다.
복리후생
- 의료, 치과 및 안과 보험.
- 유연 지출 계좌.
- 4% 매칭 및 즉시 귀속이 적용되는 401(k) 플랜.
- 유급 휴가.
- 학비 환급, 자격증 프로그램 및 전문성 개발 지원.
- 유연한 근무 일정.
- 사내 체육관 및 보육 서비스 옵션.