Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services — компанія, що надає технологічні консультаційні послуги та допомагає організаціям державного й приватного секторів керувати ІТ-середовищем і вдосконалювати його. Компанія працює у сферах управління ефективністю підприємства, архітектури, управління проєктами, інфраструктурою та застосунками, а також керованих послуг. Спільно з AppDynamics, BigPanda, Datadog і AWS вона займається моніторингом продуктивності, кореляцією подій та автоматизацією, моніторингом хмарних систем і управлінням ІТ-послугами. Scicom забезпечує цілодобову операційну підтримку глобальної інфраструктури. За описом компанії, її команда працює з корпоративними технологіями, SaaS і B2B; деталі щодо посад і найму варто перевіряти в актуальних вакансіях.

Інженер даних Databricks із контрактів даних OCDS

Поєднуйте фахівців із закупівель та інженерні команди для визначення контрактів даних у масштабній програмі Databricks. Створюйте конвеєри й засоби контролю відповідно до OCDS для надійних стандартизованих даних про контракти.

Опис

  • Об’єднувати бізнес-команди, фахівців із контрактів, управління даними та інженерів у межах масштабного впровадження Databricks.
  • Проводити семінари зі збору вимог за участю фахівців із закупівель, керівників програм, аналітиків, команд управління та технічних спеціалістів.
  • Створювати й супроводжувати контракти даних, що визначають обмін даними між виробниками та споживачами.
  • Перетворювати потреби бізнесу на користувацькі історії, критерії приймання, схеми процесів, зіставлення, специфікації інтерфейсів та інженерні вимоги.
  • Аналізувати вихідні системи, профілювати дані, оцінювати прогалини й зіставляти вихідні поля з цільовими структурами.
  • Порівнювати поточні дані про закупівлі зі структурами, яких вимагає OCDS.
  • Узгоджувати рішення з власниками даних, виробниками, споживачами, архітекторами та командами управління даними.
  • Відстежувати вимоги на етапах моделювання даних, реалізації, тестування та приймання.
  • Оцінювати вплив запропонованих змін на продукти даних, звіти, інтеграції та сценарії аналітичного використання.
  • Допомагати готувати й проводити огляди беклогу, планування спринтів, демонстрації, тестування та приймання зацікавленими сторонами.
  • Застосовувати OCDS до даних про закупівлі та державні контракти від планування до реалізації.
  • Підтримувати зіставлення для випусків і записів OCDS, пакетів, ідентифікаторів, організацій, сторін, позицій, етапів, документів, транзакцій, змін та пов’язаних елементів.
  • Використовувати схеми OCDS, списки кодів, правила перевірки та рекомендації щодо впровадження.
  • Визначати потребу в розширеннях OCDS і документувати пов’язані припущення, правила, зіставлення, винятки та розширення.
  • Формувати записи про контракти з транзакційних випусків і визначати обробку змін, оновлень, скасувань, виправлень та історичних змін.
  • Перевіряти перетворені дані за JSON-схемами OCDS і виправляти відсутні, недійсні, неузгоджені чи невідповідні дані про закупівлі.
  • Забезпечувати публікацію, обмін, аналіз або внутрішнє використання стандартизованих даних про контракти.
  • Створювати, тестувати й підтримувати конвеєри Databricks з Apache Spark, PySpark, Python і SQL.
  • Завантажувати й перетворювати структуровані та напівструктуровані дані про закупівлі з JSON, CSV, XML, Parquet, баз даних, API та файлів.
  • Створювати рівні Bronze, Silver і Gold за допомогою медальйонної архітектури.
  • Розробляти нормалізовані, багатовимірні, аналітичні моделі даних і моделі на основі OCDS.
  • Використовувати Delta Lake для забезпечення й розвитку схем, керування версіями, підтримки аудиту та надійної обробки даних.
  • Створювати повторно використовувані методи перетворення вихідних даних про закупівлі на результати, сумісні з OCDS.
  • Створювати пакетне та інкрементальне завантаження даних.
  • Використовувати належні інструменти Databricks, зокрема Workflows, ноутбуки, завдання, Auto Loader, Delta Live Tables або Lakeflow.
  • Створювати підключення до REST API для завантаження вихідних даних і передавання даних наступним системам.
  • Автоматизувати перевірки якості даних, звіряння, повноти та відповідності вимогам.
  • Допомагати впроваджувати Unity Catalog для метаданих, власників, походження даних, контролю доступу та пошуку даних.
  • Оптимізувати завдання Spark, запити SQL, кластери, секціювання, розміри файлів і розміщення даних.
  • Брати участь у перевірці коду, автоматизованому тестуванні, CI/CD, розгортанні, моніторингу та підтримці виробничого середовища.
  • Діагностувати збої конвеєрів, невідповідності даних і проблеми з продуктивністю.
  • Встановлювати вимірювані правила точності, повноти, достовірності, своєчасності, узгодженості та унікальності даних.
  • Створювати засоби перевірки полів OCDS, ідентифікаторів, дат, сум, валют, організацій, класифікацій і зв’язків між контрактами.
  • Створювати інформаційні панелі або звіти про дотримання контрактів даних і результати перевірки якості.
  • Налаштовувати виявлення й обробку змін схем.
  • Відстежувати походження даних про закупівлі через перетворення Databricks до наступних продуктів.
  • Спільно з командами управління даними визначати власників, кураторів, класифікації, строки зберігання та політики доступу.
  • Обробляти чутливі дані про закупівлі та постачальників відповідно до вимог безпеки й приватності.
  • Підтримувати аудиторські сліди з документованими правилами, версіями зіставлень, результатами перевірок та історією змін.

Вимоги

  • Ступінь бакалавра з інформатики, інформаційних систем, аналітики даних, бізнес-аналізу, інженерії, державного управління, управління ланцюгами постачання або суміжної дисципліни.
  • Щонайменше п’ять років сукупного досвіду в інженерії даних, аналізі даних, бізнес-аналізі або інтеграції даних.
  • Практичний досвід упровадження або використання стандарту Open Contracting Data Standard (OCDS).
  • Досвід створення, документування, узгодження або супроводу контрактів даних.
  • Досвід зіставлення даних про закупівлі або контракти зі схемами OCDS.
  • Ґрунтовне знання випусків, записів, схем, списків кодів, ідентифікаторів, етапів контрактування та методів перевірки OCDS.
  • Щонайменше три роки практичного досвіду роботи з Databricks.
  • Впевнене володіння Apache Spark, PySpark, Python, SQL, Delta Lake, конвеєрами ETL/ELT, моделюванням даних, JSON і JSON Schema, REST API, перевіркою якості даних та зіставленням джерела з цільовими структурами.
  • Досвід збору вимог і перетворення їх на практичні інженерні специфікації.
  • Уміння чітко спілкуватися з технічними та нетехнічними колегами.
  • Досвід підготовки користувацьких історій, критеріїв приймання, бізнес-правил, словників даних, специфікацій інтерфейсів і документації процесів.
  • Розвинені навички аналізу, усунення проблем, фасилітації та документування.
  • Досвід роботи в командах Agile.
  • Бажано: досвід у державних закупівлях, контрактах державного сектору, грантах, придбанні товарів і послуг, даних постачальників або фінансових даних.
  • Бажано: досвід створення розширень OCDS або адаптації OCDS до потреб організацій.
  • Бажано: знайомство з класифікаціями закупівель, ідентифікаторами організацій, тендерами, присудженням контрактів, змінами, етапами, транзакціями та виконанням контрактів.
  • Бажано: сертифікація Databricks Certified Data Engineer Associate або Professional.
  • Бажано: досвід роботи з Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, хмарними сервісами, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, валідаторами JSON Schema, автоматизованими засобами контролю якості даних, керуванням метаданими чи основними даними, походженням даних, управлінням довідковими даними, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins або Terraform.
  • Бажано: досвід участі у великих програмах роботи з даними федерального, регіонального, місцевого рівня чи регульованих підприємств.
  • Бажано: знайомство з вимогами до федеральних закупівель, придбання товарів і послуг, звітності, прозорості чи відкритих даних.
  • Здатність долучатися як до інженерних обговорень, так і до обговорень бізнес-аналізу.
  • Ґрунтовне розуміння контрактів даних і відповідальності виробників та споживачів.
  • Здатність перетворювати складні процеси закупівель на зрозумілі структури даних і правила трансформації.
  • Уважність під час тлумачення схем, списків кодів, бізнес-визначень і вимог до перевірки.
  • Уміння фасилітувати взаємодію зацікавлених сторін і розв’язувати конфлікти.
  • Здатність виявляти прогалини й неоднозначності до того, як вони призведуть до інженерних дефектів.
  • Відданість документуванню, відстежуваності, управлінню даними та їхній якості.
  • Здатність ефективно працювати у великій міждисциплінарній команді Databricks.

Переваги

  • В оголошенні не зазначено пільг, додаткових переваг чи додаткової компенсації.

Схожі вакансії

Вакансій не знайдено

Спробуйте змінити або очистити фільтри, щоб знайти більше можливостей.