Coretek to dostawca zarządzanych usług i firma konsultingowa w zakresie technologii chmurowych ze statusem Microsoft Azure Expert Managed Service Provider. Firma współpracuje z organizacjami z sektora publicznego, ochrony zdrowia, produkcji i usług finansowych. Jej działalność obejmuje migrację do chmury, modernizację aplikacji, automatyzację DevOps, zarządzanie środowiskami pracy, cyberbezpieczeństwo, a także rozwiązania oparte na Azure OpenAI i technologiach uczenia maszynowego. Coretek świadczy również usługi z zakresu bezpieczeństwa i obserwowalności z wykorzystaniem platform takich jak Palo Alto i Dynatrace, a także współpracuje z firmami Imprivata i Citrix. Wielodyscyplinarny zespół firmy pomaga klientom modernizować infrastrukturę, wzmacniać bezpieczeństwo oraz rozwijać praktyczne rozwiązania chmurowe i możliwości wykorzystania sztucznej inteligencji.
Inżynier danych Azure — praca hybrydowa w Indiach
Twórz i utrzymuj niezawodne pakietowe oraz strumieniowe potoki danych Azure dla Coretek. Opracowuj zarządzane modele danych, mechanizmy kontroli jakości i procesy produkcyjne wspierające zespoły biznesowe i techniczne.
Opis
- Projektowanie, tworzenie i utrzymywanie idempotentnych, obserwowalnych oraz możliwych do odtworzenia pakietowych i strumieniowych potoków danych
- Tworzenie analitycznych modeli danych, w tym schematów wymiarowych, warstw semantycznych i zarządzanych martów danych
- Łączenie operacyjnych baz danych, interfejsów API SaaS, plików i strumieni zdarzeń przy jednoczesnym zarządzaniu zmianami schematów oraz danymi napływającymi z opóźnieniem
- Wbudowywanie w potoki kontroli aktualności, wolumenu, unikalności danych i integralności referencyjnej
- Ustanawianie procedur alertowania i eskalacji w przypadku awarii potoków
- Zarządzanie potokami produkcyjnymi poprzez monitorowanie, dyżury związane z reagowaniem na incydenty, analizę przyczyn źródłowych i uzupełnianie danych
- Poprawa wydajności i kontrolowanie kosztów dzięki partycjonowaniu, klastrowaniu, doborowi rozmiaru plików oraz dopasowaniu rozmiaru hurtowni lub klastra
- Korzystanie z kontroli wersji, przeglądów kodu, CI/CD, automatycznych testów i infrastruktury jako kodu
- Egzekwowanie kontroli dostępu, zabezpieczeń danych osobowych, zasad przechowywania, śledzenia pochodzenia danych i wymagań audytowych we współpracy z zespołami ds. bezpieczeństwa i zgodności
- Współpraca z analitykami, naukowcami danych i inżynierami produktu w celu ustanowienia trwałych kontraktów danych
- Aktualizowanie słowników danych, rejestrów pochodzenia danych i instrukcji operacyjnych potoków
Wymagania
- Co najmniej pięć lat doświadczenia w tworzeniu produkcyjnych potoków danych
- Silne praktyczne doświadczenie z Pythonem w inżynierii danych, w tym w testowaniu, pakowaniu i przeglądach kodu
- Praktyczna znajomość interfejsów PySpark DataFrame i SQL, wielkoskalowych złączeń i agregacji, partycjonowania, działania operacji shuffle oraz diagnozowania za pomocą Spark UI
- Zaawansowane umiejętności SQL, w tym funkcje okienkowe, analiza planów zapytań i dostrajanie wydajności
- Praktyczne doświadczenie z Azure Data Factory, Databricks, Synapse lub Fabric oraz ADLS
- Dobra znajomość modelowania danych obejmująca normalizację, schematy gwiazdy i wolno zmieniające się wymiary
- Doświadczenie w pracy z Git i dostarczaniu rozwiązań przez CI/CD
- Doskonałe umiejętności komunikacyjne, w tym zdolność wyjaśniania problemów z potokami nietechnicznym interesariuszom
- Wybitne zdolności analityczne i umiejętność rozwiązywania problemów, w tym analizy przyczyn źródłowych
- Duże doświadczenie we współpracy z klientami w konsultacyjnym środowisku technicznym
- Doświadczenie z danymi strumieniowymi przy użyciu Kafka lub Event Hubs
- Doświadczenie w korzystaniu z Delta Lake lub Iceberg
- Doświadczenie z Terraform lub Bicep w zakresie infrastruktury jako kodu oraz z Dockerem lub Kubernetesem w zakresie konteneryzacji
- Doświadczenie w środowiskach regulowanych obejmujących HIPAA, SOC 2, PCI lub GDPR
- Doświadczenie w tworzeniu platform danych uczenia maszynowego lub obsłudze potoków cech
- Umiejętność zarządzania wieloma projektami klienckimi i terminowego dostarczania wysokiej jakości pracy
- Doświadczenie w korzystaniu z Azure DevOps lub GitHub do kontroli kodu źródłowego i potoków dostarczania