Derevo to firma zajmująca się analityką danych i transformacją cyfrową, która pomaga organizacjom przekształcać dane w wiedzę biznesową. Jej działalność obejmuje cały cykl analityczny: od tworzenia i integracji danych po ich analizę i udostępnianie, a także wspieranie kultury opartej na danych. Firma wykorzystuje sztuczną inteligencję i uczenie maszynowe w rozwiązaniach analitycznych dla różnych branż oraz stosuje model nearshore z globalnymi zespołami, obsługując przede wszystkim klientów w Stanach Zjednoczonych i Kanadzie. Dzięki ponad dziesięciu latom doświadczenia Derevo współpracuje z dostawcami technologii, wspierając organizacje w zmianach opartych na danych. Zespoły firmy działają w obszarach konsultingu, logistyki i marketingu, a rekrutacja obejmuje różne części organizacji.
Starszy inżynier danych Microsoft Fabric
Twórz architektury Microsoft Fabric, lakehouse’y i potoki danych dla rozwiązań Derevo z zakresu danych i AI. Przekształcaj duże zbiory danych w wnioski wspierające decyzje biznesowe.
Opis
- Twórz i wdrażaj nowoczesne architektury danych wysokiej jakości
- Opracowuj rozwiązania analityczne z wykorzystaniem technologii Big Data
- Projektuj, utrzymuj i optymalizuj systemy przetwarzania równoległego
- Stosuj najlepsze praktyki przechowywania i zarządzania hurtowniami danych, jeziorami danych i platformami lakehouse
- Zbieraj, przetwarzaj, oczyszczaj i orkiestruj duże wolumeny danych
- Integruj i przekształcaj dane z wielu źródeł strukturalnych i półstrukturalnych
- Określaj strategie techniczne zgodne z celami biznesowymi
- Dołączaj do projektu i jego sprintów, realizując zadania programistyczne
- Identyfikuj wymagania i określaj zakres prac
- Bierz udział w planowaniu sprintów, sesjach inżynierskich, warsztatach oraz spotkaniach z zespołami wewnętrznymi i klientami
- Klasyfikuj i szacuj zadania z wykorzystaniem metodyk zwinnych
- Codziennie śledź postępy sprintu
- Dotrzymuj terminów dostaw i zarządzaj ryzykiem, niezwłocznie informując o opóźnieniach
Wymagania
- Zaawansowana znajomość języka angielskiego
- Bardzo dobra znajomość T-SQL i Spark SQL, w tym DDL, DML, podzapytań, CTE, wielu złączeń, agregacji, funkcji okienkowych, procedur składowanych, optymalizacji indeksów, statystyk i planów wykonania
- Bardzo dobra znajomość Pythona (PySpark), w tym programowania obiektowego, struktur danych, sterowania przepływem, pobierania danych, DataFrame’ów, UDF, okien czasowych, partycjonowania, PEP 8 i modularności
- Doświadczenie w korzystaniu z JSON i REST API do orkiestracji potoków, wdrożeń CI/CD, dynamicznej parametryzacji i zarządzania artefaktami
- Znajomość Microsoft Fabric, Lakehouse, OneLake, Delta Lake i tabel Delta zgodnych z ACID
- Znajomość partycjonowania, OPTIMIZE, Z-ORDER i Time Travel
- Znajomość hurtowni danych (Synapse Analytics), aprowizowanych i bezserwerowych klastrów SQL, schematów gwiazdy i płatka śniegu, transakcyjnego T-SQL, izolacji i automatycznego skalowania
- Doświadczenie w CI/CD i zarządzaniu cyklem życia z użyciem Azure DevOps lub GitHub Actions
- Znajomość testów jednostkowych zbiorów danych, walidacji schematów i automatycznego wdrażania artefaktów
- Znajomość Monitor Hub i Activator, pulpitów metryk, proaktywnych alertów i zautomatyzowanych instrukcji operacyjnych
- Znajomość Eventstreams i Eventhouse w zakresie pozyskiwania zdarzeń w czasie rzeczywistym, okien przetwarzania i agregacji przyrostowych
- Znajomość bezpieczeństwa i ładu danych, ról i uprawnień, zabezpieczeń na poziomie wierszy i kolumn, dynamicznego maskowania danych oraz audytowania
- Ogólna znajomość Azure Data Factory będzie dodatkowym atutem
- Dobre umiejętności komunikacyjne, praca zespołowa w ramach Squad, proaktywność, współpraca, ciągłe uczenie się, odpowiedzialność, dobra organizacja, doradztwo w zakresie danych, zarządzanie wymaganiami, strategia dostosowana do klienta i umiejętność prezentacji klientom
Benefity
- Świadczenia ustawowe i dodatkowe
- Możliwości rozwijania wiedzy w różnych obszarach i technologiach
- Rozwój interdyscyplinarny i nowe wyzwania
- Środowisko zapewniające przestrzeń, zaufanie i swobodę tworzenia
- Wymagane szkolenia
- Praca nad najnowocześniejszymi projektami technologicznymi dla międzynarodowych klientów
- Elastyczna praca zdalna
- Sprzęt niezbędny do pracy
- Wewnętrzne narzędzia komunikacyjne