
Scicom Infrastructure Services е компания за технологични консултации и услуги, която помага на организации от публичния и частния сектор да управляват и подобряват своите ИТ среди. Дейността ѝ обхваща управление на корпоративната ефективност, архитектура, управление на проекти, управление на инфраструктура и приложения и управлявани услуги. Компанията работи и с AppDynamics, BigPanda, Datadog и AWS в областта на наблюдението на производителността, корелацията на събития и автоматизацията, облачното наблюдение и управлението на ИТ услуги. Тя осигурява денонощна оперативна поддръжка за глобална инфраструктура. Профилът ѝ описва екип, работещ с корпоративни, SaaS и B2B технологии; проверете актуалните отворени позиции за подробности относно ролите и наемането.
Инженер по данни за Databricks и договори за данни по OCDS
Свързвайте специалистите по обществени поръчки с инженерните екипи, за да дефинирате договори за данни за мащабна програма Databricks. Изграждайте съобразени с OCDS потоци и проверки за надеждни, стандартизирани данни за договори.
Описание
- Свързвайте бизнес екипите, екипите по договори и управление на данни с инженерните екипи в мащабна реализация на Databricks.
- Ръководете семинари за събиране на изисквания със заинтересовани страни от областта на обществените поръчки, програмите, анализа, управлението на данни и технологиите.
- Създавайте и поддържайте договори за данни, които определят как производителите и потребителите обменят данни.
- Превръщайте бизнес нуждите в потребителски истории, критерии за приемане, процесни потоци, съпоставяния, спецификации на интерфейси и инженерни изисквания.
- Анализирайте изходните системи, профилирайте данните, оценявайте пропуските и съпоставяйте изходните полета с целевите структури.
- Сравнявайте текущите данни за обществени поръчки със структурите, изисквани от OCDS.
- Постигайте съгласие между собствениците на данни, производителите, потребителите, архитектите и екипите по управление на данни.
- Проследявайте изискванията през моделирането на данните, реализацията, тестването и приемането.
- Оценявайте как предложените промени засягат продуктите с данни, отчетите, интеграциите и аналитичните случаи на употреба.
- Помагайте при подготовката и провеждането на прегледи на беклога, планиране на спринтове, демонстрации, тестване и приемане от заинтересованите страни.
- Прилагайте OCDS към данни за обществени поръчки и публични договори от планирането до реализацията.
- Поддържайте съпоставяния за издания, записи, пакети, идентификатори, организации, страни, позиции, ключови етапи, документи, транзакции, изменения и свързани елементи на OCDS.
- Използвайте схемите, кодовите списъци, правилата за валидиране и указанията за реализация на OCDS.
- Определяйте кога са необходими разширения на OCDS и документирайте свързаните допускания, правила, съпоставяния, изключения и разширения.
- Изграждайте записи за договори от транзакционни публикации и определяйте как се обработват изменения, актуализации, анулирания, корекции и исторически промени.
- Проверявайте трансформираните данни спрямо JSON схемите на OCDS и коригирайте липсващи, невалидни, непоследователни или несъответстващи данни за обществени поръчки.
- Подпомагайте публикуването, обмена, анализа или вътрешното използване на стандартизирани данни за договори.
- Изграждайте, тествайте и поддържайте потоци в Databricks с Apache Spark, PySpark, Python и SQL.
- Зареждайте и трансформирайте структурирани и полуструктурирани данни за обществени поръчки от JSON, CSV, XML, Parquet, бази данни, API и файлове.
- Създавайте слоеве Bronze, Silver и Gold с медальонната архитектура.
- Разработвайте нормализирани, измерения, аналитични и базирани на OCDS модели на данни.
- Използвайте Delta Lake за налагане и развитие на схеми, управление на версии, поддръжка на одити и надеждна обработка на данни.
- Създавайте многократно използваеми методи за преобразуване на изходни данни за обществени поръчки в резултати, съвместими с OCDS.
- Изграждайте както пакетно, така и инкрементално зареждане на данни.
- Използвайте подходящи инструменти на Databricks, включително Workflows, бележници, задачи, Auto Loader, Delta Live Tables или Lakeflow.
- Изграждайте REST API връзки за зареждане на изходни данни и доставяне на данни към последващи системи.
- Автоматизирайте проверките за качество на данните, съгласуване, пълнота и съответствие.
- Помагайте за внедряването на Unity Catalog за метаданни, собственост, произход на данните, контрол на достъпа и откриване на данни.
- Подобрявайте задачите на Spark, SQL заявките, клъстерите, разделянето на дялове, размерите на файловете и подредбата на данните.
- Участвайте в прегледи на код, автоматизирани тестове, CI/CD, внедрявания, наблюдение и поддръжка на продукционна среда.
- Диагностицирайте неуспешни потоци, несъответствия в данните и проблеми с производителността.
- Определяйте измерими правила за точност, пълнота, валидност, навременност, последователност и уникалност на данните.
- Създавайте проверки за валидиране на полета на OCDS, идентификатори, дати, суми, валути, организации, класификации и договорни отношения.
- Изграждайте табла или отчети за съответствието с договорите за данни и резултатите за качеството на данните.
- Създавайте начини за откриване и управление на промени в схемите.
- Проследявайте произхода на данните за обществени поръчки през трансформациите в Databricks до последващите продукти.
- Работете с екипите по управление на данни за определяне на собственици, отговорници, класификации, срокове за съхранение и политики за достъп.
- Обработвайте чувствителни данни за обществени поръчки и доставчици съгласно изискванията за сигурност и поверителност.
- Поддържайте одитни следи с документирани правила, версионирани съпоставяния, резултати от валидирането и история на промените.
Изисквания
- Бакалавърска степен по компютърни науки, информационни системи, анализ на данни, бизнес анализ, инженерство, публична администрация, управление на веригата на доставки или сродна дисциплина.
- Най-малко пет години комбиниран опит в инженерство на данни, анализ на данни, бизнес анализ или интеграция на данни.
- Практически опит с внедряване или използване на стандарта Open Contracting Data Standard (OCDS).
- Опит в създаване, документиране, договаряне или поддържане на договори за данни.
- Опит в съпоставяне на данни за обществени поръчки или договори със схеми на OCDS.
- Отлично познаване на изданията, записите, схемите, кодовите списъци, идентификаторите, етапите на договаряне и методите за валидиране на OCDS.
- Най-малко три години практически опит с Databricks.
- Отлични умения с Apache Spark, PySpark, Python, SQL, Delta Lake, потоци ETL/ELT, моделиране на данни, JSON и JSON Schema, REST API, валидиране на качеството на данните и съпоставяне от източник към цел.
- Опит в събиране на изисквания и превръщането им в приложими инженерни спецификации.
- Ясна комуникация с технически и нетехнически партньори.
- Опит в подготовка на потребителски истории, критерии за приемане, бизнес правила, речници на данни, спецификации на интерфейси и процесна документация.
- Силни аналитични умения, отстраняване на проблеми, фасилитиране и документиране.
- Опит в работа в Agile екипи.
- Предимство: опит с държавни обществени поръчки, договори в публичния сектор, грантове, придобивания, данни за доставчици или финансови данни.
- Предимство: опит в изграждане на разширения на OCDS или адаптиране на OCDS към нуждите на организацията.
- Предимство: познаване на класификациите за обществени поръчки, идентификаторите на организации, търговете, възлаганията, измененията, ключовите етапи, транзакциите и изпълнението на договори.
- Предимство: сертификат Databricks Certified Data Engineer Associate или Professional.
- Предимство: опит с Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, облачни услуги, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, валидатори на JSON Schema, автоматизирани рамки за качество на данните, управление на метаданни или основни данни, проследяване на произхода, управление на референтни данни, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins или Terraform.
- Предимство: опит в големи програми за данни на федерално, щатско или местно управление или в регулирани предприятия.
- Предимство: познаване на изискванията за федерални придобивания, обществени поръчки, отчетност, прозрачност или отворени данни.
- Способност за участие както в инженерни дискусии, така и в дискусии по бизнес анализ.
- Задълбочено разбиране на договорите за данни и отговорността на производителите и потребителите.
- Способност за превръщане на сложни процеси за обществени поръчки в ясни структури на данните и правила за трансформация.
- Прецизност при тълкуване на схеми, кодови списъци, бизнес дефиниции и изисквания за валидиране.
- Силни умения за фасилитиране на заинтересовани страни и разрешаване на конфликти.
- Способност за откриване на пропуски и неясноти, преди да доведат до инженерни дефекти.
- Ангажираност към документацията, проследимостта, управлението на данни и качеството им.
- Способност за ефективна работа в голям мултидисциплинарен екип на Databricks.
Придобивки
- В обявата не са посочени придобивки, бонуси или допълнително възнаграждение.
Свързани работни места
Няма намерени обяви за работа
Опитайте да промените или изчистите филтрите, за да намерите повече възможности.