
Scicom Infrastructure Services — компания, предоставляющая технологические консультационные услуги и помогающая организациям государственного и частного секторов управлять ИТ-средой и совершенствовать её. Компания работает в сферах управления эффективностью предприятия, архитектуры, управления проектами, инфраструктурой и приложениями, а также управляемых услуг. Совместно с AppDynamics, BigPanda, Datadog и AWS она занимается мониторингом производительности, корреляцией событий и автоматизацией, мониторингом облачных систем и управлением ИТ-услугами. Scicom обеспечивает круглосуточную операционную поддержку глобальной инфраструктуры. Согласно описанию компании, её команда работает с корпоративными технологиями, SaaS и B2B; сведения о должностях и найме следует уточнять в актуальных вакансиях.
Инженер данных Databricks по контрактам данных OCDS
Связывайте специалистов по закупкам с инженерными командами, чтобы определять контракты данных для крупной программы Databricks. Создавайте соответствующие OCDS конвейеры и средства контроля для надежных стандартизированных данных о контрактах.
Описание
- Объединять бизнес-команды, специалистов по контрактам, управлению данными и инженеров в рамках крупного внедрения Databricks.
- Проводить семинары по сбору требований с участием специалистов по закупкам, руководителей программ, аналитиков, команд управления и технических экспертов.
- Создавать и поддерживать контракты данных, определяющие обмен данными между поставщиками и потребителями.
- Преобразовывать потребности бизнеса в пользовательские истории, критерии приемки, схемы процессов, сопоставления, спецификации интерфейсов и инженерные требования.
- Анализировать исходные системы, профилировать данные, оценивать пробелы и сопоставлять исходные поля с целевыми структурами.
- Сравнивать текущие данные о закупках со структурами, требуемыми OCDS.
- Согласовывать решения с владельцами данных, поставщиками, потребителями, архитекторами и командами управления данными.
- Отслеживать требования на этапах моделирования данных, реализации, тестирования и приемки.
- Оценивать влияние предлагаемых изменений на продукты данных, отчеты, интеграции и сценарии аналитического использования.
- Помогать готовить и проводить обзоры бэклога, планирование спринтов, демонстрации, тестирование и приемку заказчиками.
- Применять OCDS к данным о закупках и государственных контрактах от планирования до реализации.
- Поддерживать сопоставления для выпусков и записей OCDS, пакетов, идентификаторов, организаций, сторон, позиций, этапов, документов, транзакций, изменений и связанных элементов.
- Использовать схемы OCDS, списки кодов, правила проверки и рекомендации по внедрению.
- Определять необходимость расширений OCDS и документировать связанные допущения, правила, сопоставления, исключения и расширения.
- Формировать записи о контрактах из транзакционных выпусков и определять обработку изменений, обновлений, отмен, исправлений и исторических изменений.
- Проверять преобразованные данные по JSON-схемам OCDS и исправлять отсутствующие, недопустимые, противоречивые или несоответствующие данные о закупках.
- Обеспечивать публикацию, обмен, анализ или внутреннее использование стандартизированных данных о контрактах.
- Создавать, тестировать и поддерживать конвейеры Databricks с Apache Spark, PySpark, Python и SQL.
- Загружать и преобразовывать структурированные и полуструктурированные данные о закупках из JSON, CSV, XML, Parquet, баз данных, API и файлов.
- Создавать уровни Bronze, Silver и Gold с использованием медальонной архитектуры.
- Разрабатывать нормализованные, многомерные, аналитические модели данных и модели на основе OCDS.
- Использовать Delta Lake для обеспечения и развития схем, управления версиями, поддержки аудита и надежной обработки данных.
- Создавать повторно используемые методы преобразования исходных данных о закупках в форматы, совместимые с OCDS.
- Создавать пакетную и инкрементальную загрузку данных.
- Использовать подходящие инструменты Databricks, включая Workflows, ноутбуки, задания, Auto Loader, Delta Live Tables или Lakeflow.
- Создавать подключения к REST API для загрузки исходных данных и передачи данных нижестоящим системам.
- Автоматизировать проверки качества данных, сверки, полноты и соответствия требованиям.
- Помогать внедрять Unity Catalog для управления метаданными, владельцами, происхождением данных, контролем доступа и поиском данных.
- Оптимизировать задания Spark, запросы SQL, кластеры, секционирование, размеры файлов и размещение данных.
- Участвовать в проверке кода, автоматизированном тестировании, CI/CD, развертывании, мониторинге и поддержке производственной среды.
- Диагностировать сбои конвейеров, несоответствия данных и проблемы производительности.
- Устанавливать измеримые правила точности, полноты, достоверности, своевременности, согласованности и уникальности данных.
- Создавать проверки полей OCDS, идентификаторов, дат, сумм, валют, организаций, классификаций и связей между контрактами.
- Создавать панели мониторинга или отчеты о соблюдении контрактов данных и результатах контроля качества.
- Настраивать выявление и обработку изменений схем.
- Отслеживать происхождение данных о закупках через преобразования Databricks до нижестоящих продуктов.
- Совместно с командами управления данными определять владельцев, кураторов, классификации, сроки хранения и политики доступа.
- Обрабатывать чувствительные данные о закупках и поставщиках в соответствии с требованиями безопасности и конфиденциальности.
- Поддерживать аудиторские следы с документированными правилами, версиями сопоставлений, результатами проверок и историей изменений.
Требования
- Степень бакалавра в области информатики, информационных систем, аналитики данных, бизнес-анализа, инженерии, государственного управления, управления цепочками поставок или смежной дисциплины.
- Не менее пяти лет совокупного опыта в инженерии данных, анализе данных, бизнес-анализе или интеграции данных.
- Практический опыт внедрения или использования стандарта Open Contracting Data Standard (OCDS).
- Опыт создания, документирования, согласования или сопровождения контрактов данных.
- Опыт сопоставления данных о закупках или контрактах со схемами OCDS.
- Глубокое знание выпусков, записей, схем, списков кодов, идентификаторов, этапов контрактования и методов проверки OCDS.
- Не менее трех лет практической работы с Databricks.
- Уверенные навыки работы с Apache Spark, PySpark, Python, SQL, Delta Lake, конвейерами ETL/ELT, моделированием данных, JSON и JSON Schema, REST API, проверкой качества данных и сопоставлением источника с целевыми структурами.
- Опыт сбора требований и их преобразования в практические инженерные спецификации.
- Умение ясно общаться с техническими и нетехническими коллегами.
- Опыт подготовки пользовательских историй, критериев приемки, бизнес-правил, словарей данных, спецификаций интерфейсов и документации процессов.
- Сильные навыки анализа, устранения неполадок, фасилитации и документирования.
- Опыт работы в командах Agile.
- Преимущество: опыт работы с государственными закупками, контрактами государственного сектора, грантами, снабжением, данными о поставщиках или финансовыми данными.
- Преимущество: опыт создания расширений OCDS или адаптации OCDS к потребностям организаций.
- Преимущество: знакомство с классификациями закупок, идентификаторами организаций, тендерами, присуждением контрактов, изменениями, этапами, транзакциями и исполнением контрактов.
- Преимущество: сертификат Databricks Certified Data Engineer Associate или Professional.
- Преимущество: опыт работы с Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, облачными сервисами, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, валидаторами JSON Schema, автоматизированными средствами контроля качества данных, управлением метаданными или основными данными, происхождением данных, управлением справочными данными, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins или Terraform.
- Преимущество: опыт участия в крупных программах обработки данных федерального, регионального, местного уровня или регулируемых предприятий.
- Преимущество: знакомство с требованиями к федеральным закупкам, снабжению, отчетности, прозрачности или открытым данным.
- Способность участвовать как в инженерных обсуждениях, так и в обсуждениях бизнес-анализа.
- Глубокое понимание контрактов данных и ответственности поставщиков и потребителей.
- Способность преобразовывать сложные процессы закупок в понятные структуры данных и правила преобразования.
- Внимательность при толковании схем, списков кодов, бизнес-определений и требований к проверкам.
- Навыки фасилитации работы заинтересованных сторон и разрешения конфликтов.
- Способность выявлять пробелы и неоднозначности до того, как они приведут к инженерным дефектам.
- Приверженность документированию, прослеживаемости, управлению данными и их качеству.
- Способность эффективно работать в большой междисциплинарной команде Databricks.
Преимущества
- В объявлении не указаны льготы, дополнительные преимущества или дополнительная компенсация.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.