
Scicom Infrastructure Services는 공공 및 민간 부문 조직이 IT 환경을 관리하고 개선하도록 지원하는 기술 컨설팅 및 서비스 기업입니다. 기업 성과 관리, 아키텍처, 프로젝트 관리, 인프라 및 애플리케이션 관리, 매니지드 서비스 등을 제공합니다. 또한 AppDynamics, BigPanda, Datadog, AWS와 협력해 성능 모니터링, 이벤트 상관 분석 및 자동화, 클라우드 모니터링, IT 서비스 관리 분야의 업무를 수행합니다. Scicom은 글로벌 인프라 운영을 24시간 지원합니다. 회사 소개에 따르면 팀은 엔터프라이즈, SaaS, B2B 기술 분야에서 활동합니다. 직무와 채용에 관한 자세한 내용은 현재 공고를 확인하세요.
Databricks 데이터 엔지니어, OCDS 데이터 계약
대규모 Databricks 프로그램에서 조달 관계자와 엔지니어링 팀을 연결해 데이터 계약을 정의합니다. OCDS에 부합하는 파이프라인과 제어 체계를 구축해 신뢰할 수 있고 표준화된 계약 데이터를 만듭니다.
설명
- 대규모 Databricks 구현에서 비즈니스, 계약, 거버넌스, 엔지니어링 팀을 연결합니다.
- 조달, 프로그램, 분석, 거버넌스 및 기술 관계자와 요구사항 워크숍을 주도합니다.
- 데이터 생산자와 소비자 간의 데이터 교환 방식을 정의하는 데이터 계약을 만들고 유지합니다.
- 비즈니스 요구를 사용자 스토리, 인수 기준, 프로세스 흐름, 매핑, 인터페이스 사양 및 엔지니어링 요구사항으로 구체화합니다.
- 소스 시스템을 분석하고 데이터 프로파일을 작성하며 격차를 평가하고 소스 필드를 대상 구조에 매핑합니다.
- 현재 조달 데이터를 OCDS가 요구하는 구조와 비교합니다.
- 데이터 소유자, 생산자, 소비자, 아키텍트 및 거버넌스 팀의 합의를 이끌어냅니다.
- 데이터 모델링부터 구현, 테스트 및 인수까지 요구사항을 추적합니다.
- 제안된 변경이 데이터 제품, 보고서, 통합 및 분석 사용 사례에 미치는 영향을 평가합니다.
- 백로그 검토, 스프린트 계획, 데모, 테스트 및 관계자 인수의 준비와 진행을 지원합니다.
- 계획부터 구현까지 조달 및 공공 계약 데이터에 OCDS를 적용합니다.
- OCDS 릴리스, 레코드, 패키지, 식별자, 조직, 당사자, 항목, 마일스톤, 문서, 거래, 수정 사항 및 관련 요소의 매핑을 유지합니다.
- OCDS 스키마, 코드 목록, 검증 규칙 및 구현 지침을 사용합니다.
- OCDS 확장이 필요한 경우를 파악하고 관련 가정, 규칙, 매핑, 예외 및 확장 내용을 기록합니다.
- 거래 릴리스를 바탕으로 계약 레코드를 만들고 수정, 업데이트, 취소, 정정 및 과거 변경 사항의 처리 방식을 정의합니다.
- 변환된 데이터를 OCDS JSON 스키마에 따라 확인하고 조달 데이터의 누락, 유효하지 않음, 불일치 또는 비준수 문제를 수정합니다.
- 표준화된 계약 데이터의 공개, 교환, 분석 또는 내부 활용을 지원합니다.
- Apache Spark, PySpark, Python 및 SQL로 Databricks 파이프라인을 구축하고 테스트하며 유지 관리합니다.
- JSON, CSV, XML, Parquet, 데이터베이스, API 및 파일에서 구조화 및 반구조화된 조달 데이터를 수집하고 변환합니다.
- 메달리온 아키텍처를 사용해 Bronze, Silver, Gold 계층을 만듭니다.
- 정규화, 차원형, 분석형 및 OCDS 기반 데이터 모델을 개발합니다.
- Delta Lake로 스키마를 적용하고 발전시키며 버전을 관리하고 감사를 지원하고 데이터를 안정적으로 처리합니다.
- 소스 조달 데이터를 OCDS 호환 결과물로 변환하는 재사용 가능한 방법을 만듭니다.
- 배치 및 증분 데이터 수집을 구축합니다.
- Workflows, 노트북, 작업, Auto Loader, Delta Live Tables 또는 Lakeflow 등 적합한 Databricks 도구를 사용합니다.
- 소스 수집과 다운스트림 데이터 전달을 위한 REST API 연결을 구축합니다.
- 데이터 품질, 대사, 완전성 및 적합성 검사를 자동화합니다.
- 메타데이터, 소유권, 계보, 접근 제어 및 데이터 검색을 위한 Unity Catalog 구현을 지원합니다.
- Spark 작업, SQL 쿼리, 클러스터, 파티셔닝, 파일 크기 및 데이터 레이아웃을 개선합니다.
- 코드 리뷰, 자동화 테스트, CI/CD, 배포, 모니터링 및 프로덕션 지원에 기여합니다.
- 파이프라인 장애, 데이터 불일치 및 성능 문제를 진단합니다.
- 데이터 정확성, 완전성, 유효성, 적시성, 일관성 및 고유성에 대한 측정 가능한 규칙을 설정합니다.
- OCDS 필드, 식별자, 날짜, 금액, 통화, 조직, 분류 및 계약 관계의 검증 제어를 만듭니다.
- 데이터 계약 준수 및 데이터 품질 결과를 보여주는 대시보드나 보고서를 만듭니다.
- 스키마 변경을 감지하고 관리하는 방법을 마련합니다.
- Databricks 변환부터 다운스트림 제품까지 조달 데이터의 계보를 추적합니다.
- 거버넌스 팀과 협력해 소유자, 데이터 관리자, 분류, 보존 및 접근 정책을 정의합니다.
- 보안 및 개인정보 보호 요구사항에 따라 민감한 조달 데이터와 공급업체 데이터를 처리합니다.
- 문서화된 규칙, 버전 관리되는 매핑, 검증 결과 및 변경 이력을 통해 감사 추적을 유지합니다.
지원 자격
- 컴퓨터 과학, 정보 시스템, 데이터 분석, 비즈니스 분석, 공학, 행정학, 공급망 관리 또는 관련 분야의 학사 학위.
- 데이터 엔지니어링, 데이터 분석, 비즈니스 분석 또는 데이터 통합 분야를 합쳐 최소 5년의 경력.
- Open Contracting Data Standard(OCDS)를 구현하거나 사용한 실무 경험.
- 데이터 계약을 작성, 문서화, 협의 또는 유지 관리한 경험.
- 조달 또는 계약 데이터를 OCDS 스키마에 매핑한 경험.
- OCDS 릴리스, 레코드, 스키마, 코드 목록, 식별자, 계약 단계 및 검증 방법에 대한 높은 숙련도.
- Databricks 실무 경험 최소 3년.
- Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT 파이프라인, 데이터 모델링, JSON 및 JSON Schema, REST API, 데이터 품질 검증, 소스-타깃 매핑에 대한 높은 역량.
- 요구사항을 도출해 실행 가능한 엔지니어링 사양으로 전환한 경험.
- 기술 및 비기술 파트너와 명확하게 소통할 수 있는 능력.
- 사용자 스토리, 인수 기준, 비즈니스 규칙, 데이터 사전, 인터페이스 사양 및 프로세스 문서를 작성한 경험.
- 뛰어난 분석, 문제 해결, 퍼실리테이션 및 문서화 역량.
- 애자일 팀에서 업무를 수행한 경험.
- 우대: 정부 조달, 공공 부문 계약, 보조금, 구매, 공급업체 또는 재무 데이터 관련 배경.
- 우대: OCDS 확장을 구축하거나 조직의 요구에 맞게 OCDS를 적용한 경험.
- 우대: 조달 분류, 조직 식별자, 입찰, 낙찰, 수정, 마일스톤, 거래 및 계약 이행에 대한 지식.
- 우대: Databricks Certified Data Engineer Associate 또는 Professional 자격.
- 우대: Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, 클라우드 서비스, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema 검증기, 자동화 데이터 품질 프레임워크, 메타데이터 또는 마스터 데이터 관리, 계보, 참조 데이터 거버넌스, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins 또는 Terraform 경험.
- 우대: 연방, 주, 지방 정부 또는 규제 대상 기업의 대규모 데이터 프로그램에 참여한 경험.
- 우대: 연방 조달, 구매, 보고, 투명성 또는 오픈 데이터 요구사항에 대한 지식.
- 엔지니어링 및 비즈니스 분석 논의에 모두 참여할 수 있는 능력.
- 데이터 계약과 생산자 및 소비자의 책임에 대한 깊은 이해.
- 복잡한 조달 프로세스를 명확한 데이터 구조와 변환 규칙으로 바꿀 수 있는 능력.
- 스키마, 코드 목록, 비즈니스 정의 및 검증 요구사항을 신중하게 해석하는 능력.
- 관계자 퍼실리테이션 및 갈등 해결 역량.
- 엔지니어링 결함으로 이어지기 전에 격차와 모호성을 찾아낼 수 있는 능력.
- 문서화, 추적 가능성, 거버넌스 및 데이터 품질을 중시하는 태도.
- 규모가 크고 여러 분야가 참여하는 Databricks 팀에서 효과적으로 일할 수 있는 능력.
복리후생
- 채용 공고에는 복리후생, 특전 또는 추가 보상이 명시되어 있지 않습니다.
관련 채용공고
채용 공고를 찾을 수 없습니다
더 많은 기회를 찾으려면 필터를 조정하거나 지워 보세요.