Peraton
Peraton
Peraton — технологическая компания, ориентированная на выполнение задач в интересах национальной безопасности, военных и государственных заказчиков. Компания занимается передовыми ИТ- и киберуслугами, включая киберзащиту, облачные операции, инженерные решения, разведывательную деятельность и технологии на основе данных. Peraton объединяет крупные специализированные команды для решения сложных операционных задач и проблем безопасности, а ее специалисты участвуют в создании технологических возможностей для критически важных миссий.

Младший инженер ETL и ГИС-данных

Создание ETL-процессов и конвейеров проверки ГИС-данных в Databricks для федеральной программы Peraton по интеграции данных об исчезающих видах. Поддержка загрузки данных в облачное озеро данных, контроля качества и тестирования совместимости.

Описание

  • Создавать и развертывать конвейеры Databricks Delta Live Tables в промежуточной среде облачного озера данных.
  • Объединять и нормализовать данные об ареалах из нескольких авторитетных источников.
  • Стандартизировать пространственные форматы и системы координат.
  • Создавать преобразования от источника к целевой системе, включая сопоставление полей, преобразование типов и обработку пустых значений.
  • Запускать прототипы процессов загрузки данных на примере характерных таксонов.
  • Оценивать результаты загрузки на полноту, точность, согласованность и пространственную целостность.
  • Фиксировать результаты прототипной загрузки, дефекты и меры по их устранению.
  • Готовить отчет о результатах прототипной загрузки.
  • Отслеживать дефекты качества данных по степени серьезности и статусу устранения.
  • Хранить ETL-код в системе контроля версий и документировать обязательные экспертные проверки.
  • Помогать инженерам ГИС проверять пространственные данные.
  • Помогать тестировать совместимость с помощью тестовых наборов данных, запусков конвейеров и проверки данных.

Требования

  • Соответствовать одному из вариантов образования и опыта: степень бакалавра без профессионального опыта; степень младшего специалиста и два года профессионального опыта; либо аттестат о среднем образовании или эквивалент и четыре года профессионального опыта.
  • Быть гражданином США.
  • Иметь возможность получить и поддерживать допуск Public Trust.
  • Выполнять всю работу на территории США.
  • Иметь практический опыт работы с Databricks и Delta Live Tables либо сопоставимой облачной ETL-платформой.
  • Иметь опыт проверки качества данных, сопоставления источников и целевых систем, а также преобразования данных.
  • Иметь опыт моделирования данных или документирования проектирования схем.
  • Иметь опыт документирования результатов тестирования или загрузки данных и регистрации дефектов по степени серьезности.
  • Владеть Python или Scala для разработки ETL-конвейеров.
  • Владеть SQL для запросов, проверки и преобразования данных в облачном озере данных.
  • Знать геопространственные форматы данных и системы координат.
  • Преимущество: опыт работы с AWS GovCloud или сопоставимой облачной средой, авторизованной по стандарту FedRAMP.
  • Преимущество: знакомство с ГИС-инструментами, например ArcGIS или QGIS.
  • Преимущество: опыт работы с федеральными стандартами управления данными и метаданными.
  • Преимущество: сертификат Databricks Associate или эквивалентная квалификация.

Преимущества

  • Может применяться оплата сверхурочной работы.
  • Может применяться доплата за сменную работу.
  • Может выплачиваться премия по усмотрению работодателя.

Похожие вакансии

Peraton

Младший инженер данных: ETL и качество данных

Peraton

Поддерживайте федеральную программу Peraton по миграции данных: создавайте и проверяйте ETL-процессы, обслуживайте базы данных и контролируйте качество данных. Помогайте готовить переход в промышленную эксплуатацию с помощью безопасной работы с базами данных, тестирования производительности и проверки миграции.

Открыть