Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services to firma świadcząca usługi doradztwa technologicznego, która pomaga organizacjom z sektora publicznego i prywatnego zarządzać środowiskami IT oraz je ulepszać. Jej działalność obejmuje zarządzanie efektywnością przedsiębiorstwa, architekturę, zarządzanie projektami, infrastrukturą i aplikacjami, a także usługi zarządzane. Firma współpracuje również z AppDynamics, BigPanda, Datadog i AWS w obszarach monitorowania wydajności, korelacji zdarzeń i automatyzacji, monitorowania chmury oraz zarządzania usługami IT. Scicom zapewnia całodobowe wsparcie operacyjne dla globalnej infrastruktury. Opis firmy wskazuje, że jej zespół działa w obszarze technologii korporacyjnych, SaaS i B2B; informacje o stanowiskach i rekrutacji należy sprawdzać w aktualnych ofertach pracy.

Inżynier danych Databricks ds. kontraktów danych OCDS

Łącz interesariuszy zamówień publicznych z zespołami inżynierskimi, aby definiować kontrakty danych w dużym programie Databricks. Twórz potoki i mechanizmy kontroli zgodne z OCDS, zapewniające wiarygodne, ustandaryzowane dane o kontraktach.

Opis

  • Łączyć zespoły biznesowe, specjalistów ds. kontraktów, ładu danych i inżynierów w ramach dużego wdrożenia Databricks.
  • Prowadzić warsztaty wymagań z udziałem interesariuszy z obszaru zamówień, programów, analityki, ładu danych i technologii.
  • Tworzyć i utrzymywać kontrakty danych określające sposób wymiany danych między producentami a odbiorcami.
  • Przekładać potrzeby biznesowe na historyjki użytkownika, kryteria akceptacji, przepływy procesów, mapowania, specyfikacje interfejsów i wymagania inżynierskie.
  • Analizować systemy źródłowe, profilować dane, oceniać braki i mapować pola źródłowe na struktury docelowe.
  • Porównywać bieżące dane o zamówieniach ze strukturami wymaganymi przez OCDS.
  • Uzgadniać rozwiązania z właścicielami danych, producentami, odbiorcami, architektami i zespołami ładu danych.
  • Śledzić wymagania na etapach modelowania danych, wdrożenia, testowania i akceptacji.
  • Oceniać wpływ proponowanych zmian na produkty danych, raporty, integracje i przypadki użycia analitycznego.
  • Pomagać w przygotowaniu i prowadzeniu przeglądów backlogu, planowania sprintów, prezentacji, testów i akceptacji przez interesariuszy.
  • Stosować OCDS do danych o zamówieniach i kontraktach publicznych od planowania po wdrożenie.
  • Utrzymywać mapowania wydań i rekordów OCDS, pakietów, identyfikatorów, organizacji, stron, pozycji, kamieni milowych, dokumentów, transakcji, zmian i powiązanych elementów.
  • Korzystać ze schematów OCDS, list kodów, reguł walidacji i wytycznych wdrożeniowych.
  • Określać, kiedy potrzebne są rozszerzenia OCDS, oraz dokumentować powiązane założenia, reguły, mapowania, wyjątki i rozszerzenia.
  • Tworzyć rekordy kontraktów z wydań transakcyjnych oraz określać sposób obsługi zmian, aktualizacji, anulowań, korekt i zmian historycznych.
  • Sprawdzać przekształcone dane względem schematów JSON OCDS i naprawiać brakujące, nieprawidłowe, niespójne lub niezgodne dane o zamówieniach.
  • Umożliwiać publikację, wymianę, analizę lub wewnętrzne wykorzystanie ustandaryzowanych danych o kontraktach.
  • Tworzyć, testować i utrzymywać potoki Databricks z użyciem Apache Spark, PySpark, Python i SQL.
  • Pozyskiwać i przekształcać ustrukturyzowane oraz częściowo ustrukturyzowane dane o zamówieniach z JSON, CSV, XML, Parquet, baz danych, API i plików.
  • Tworzyć warstwy Bronze, Silver i Gold z wykorzystaniem architektury medalionowej.
  • Opracowywać znormalizowane, wielowymiarowe, analityczne modele danych oraz modele oparte na OCDS.
  • Korzystać z Delta Lake do egzekwowania i rozwijania schematów, zarządzania wersjami, wspierania audytów i niezawodnego przetwarzania danych.
  • Tworzyć wielokrotnego użytku metody przekształcania źródłowych danych o zamówieniach na dane zgodne z OCDS.
  • Tworzyć zarówno wsadowe, jak i przyrostowe procesy pozyskiwania danych.
  • Korzystać z odpowiednich narzędzi Databricks, w tym Workflows, notesów, zadań, Auto Loader, Delta Live Tables lub Lakeflow.
  • Tworzyć połączenia REST API do pozyskiwania danych źródłowych i dostarczania danych do systemów dalszego przetwarzania.
  • Automatyzować kontrole jakości danych, uzgadniania, kompletności i zgodności.
  • Pomagać wdrażać Unity Catalog do zarządzania metadanymi, właścicielami, pochodzeniem danych, kontrolą dostępu i wyszukiwaniem danych.
  • Usprawniać zadania Spark, zapytania SQL, klastry, partycjonowanie, rozmiary plików i układy danych.
  • Uczestniczyć w przeglądach kodu, testach automatycznych, CI/CD, wdrożeniach, monitoringu i wsparciu produkcyjnym.
  • Diagnozować awarie potoków, rozbieżności danych i problemy z wydajnością.
  • Ustalać mierzalne reguły dokładności, kompletności, prawidłowości, aktualności, spójności i unikalności danych.
  • Tworzyć mechanizmy walidacji pól OCDS, identyfikatorów, dat, kwot, walut, organizacji, klasyfikacji i relacji kontraktowych.
  • Tworzyć pulpity nawigacyjne lub raporty dotyczące zgodności z kontraktami danych i wyników jakości danych.
  • Konfigurować sposoby wykrywania zmian schematów i zarządzania nimi.
  • Śledzić pochodzenie danych o zamówieniach przez transformacje Databricks aż do produktów dalszego wykorzystania.
  • Współpracować z zespołami ładu danych przy określaniu właścicieli, opiekunów, klasyfikacji, okresów przechowywania i zasad dostępu.
  • Przetwarzać wrażliwe dane o zamówieniach i dostawcach zgodnie z wymogami bezpieczeństwa i prywatności.
  • Prowadzić ścieżki audytowe z udokumentowanymi regułami, wersjonowanymi mapowaniami, wynikami walidacji i historią zmian.

Wymagania

  • Licencjat z informatyki, systemów informacyjnych, analityki danych, analizy biznesowej, inżynierii, administracji publicznej, zarządzania łańcuchem dostaw lub pokrewnej dziedziny.
  • Co najmniej pięć lat łącznego doświadczenia w inżynierii danych, analizie danych, analizie biznesowej lub integracji danych.
  • Praktyczne doświadczenie we wdrażaniu lub stosowaniu standardu Open Contracting Data Standard (OCDS).
  • Doświadczenie w tworzeniu, dokumentowaniu, uzgadnianiu lub utrzymywaniu kontraktów danych.
  • Doświadczenie w mapowaniu danych o zamówieniach lub kontraktach na schematy OCDS.
  • Bardzo dobra znajomość wydań, rekordów, schematów, list kodów, identyfikatorów, etapów kontraktowania i metod walidacji OCDS.
  • Co najmniej trzy lata praktycznego doświadczenia z Databricks.
  • Biegłość w Apache Spark, PySpark, Python, SQL, Delta Lake, potokach ETL/ELT, modelowaniu danych, JSON i JSON Schema, REST API, walidacji jakości danych oraz mapowaniu źródło-cel.
  • Doświadczenie w zbieraniu wymagań i przekładaniu ich na konkretne specyfikacje inżynierskie.
  • Umiejętność jasnej komunikacji z osobami technicznymi i nietechnicznymi.
  • Doświadczenie w przygotowywaniu historyjek użytkownika, kryteriów akceptacji, reguł biznesowych, słowników danych, specyfikacji interfejsów i dokumentacji procesów.
  • Bardzo dobre umiejętności analityczne, rozwiązywania problemów, facylitacji i dokumentowania.
  • Doświadczenie w pracy w zespołach Agile.
  • Mile widziane: doświadczenie w zamówieniach rządowych, kontraktach sektora publicznego, grantach, zakupach, danych dostawców lub danych finansowych.
  • Mile widziane: doświadczenie w tworzeniu rozszerzeń OCDS lub dostosowywaniu OCDS do potrzeb organizacji.
  • Mile widziana znajomość klasyfikacji zamówień, identyfikatorów organizacji, przetargów, udzielania zamówień, zmian, kamieni milowych, transakcji i realizacji kontraktów.
  • Mile widziany certyfikat Databricks Certified Data Engineer Associate lub Professional.
  • Mile widziane doświadczenie z Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, usługami chmurowymi, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, walidatorami JSON Schema, zautomatyzowanymi narzędziami jakości danych, zarządzaniem metadanymi lub danymi podstawowymi, pochodzeniem danych, zarządzaniem danymi referencyjnymi, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins lub Terraform.
  • Mile widziane: doświadczenie w dużych programach danych na szczeblu federalnym, stanowym, lokalnym lub w regulowanych przedsiębiorstwach.
  • Mile widziana znajomość wymagań dotyczących zamówień federalnych, zakupów, sprawozdawczości, przejrzystości lub otwartych danych.
  • Umiejętność wnoszenia wkładu zarówno w dyskusje inżynierskie, jak i analizy biznesowe.
  • Dobra znajomość kontraktów danych oraz odpowiedzialności producentów i odbiorców.
  • Umiejętność przekładania złożonych procesów zamówień na czytelne struktury danych i reguły transformacji.
  • Staranność w interpretowaniu schematów, list kodów, definicji biznesowych i wymagań walidacyjnych.
  • Umiejętność prowadzenia spotkań interesariuszy i rozwiązywania konfliktów.
  • Umiejętność wykrywania braków i niejednoznaczności, zanim doprowadzą do błędów inżynierskich.
  • Dbałość o dokumentację, identyfikowalność, ład danych i ich jakość.
  • Umiejętność efektywnej pracy w dużym, interdyscyplinarnym zespole Databricks.

Benefity

  • W ogłoszeniu nie podano benefitów, dodatkowych udogodnień ani dodatkowego wynagrodzenia.

Powiązane oferty pracy

Nie znaleziono ofert pracy

Spróbuj zmienić lub wyczyścić filtry, aby znaleźć więcej możliwości.