Valtech to globalna agencja cyfrowa, która pomaga organizacjom poprawiać doświadczenia klientów i rozwijać działalność cyfrową. Firma łączy technologie, marketing, dane i sztuczną inteligencję, wspierając inicjatywy handlowe, cyfrową transformację przedsiębiorstw oraz zwiększanie skuteczności marketingu. Dzięki zespołom i biurom na całym świecie Valtech współpracuje z firmami w zakresie strategii cyfrowej, innowacji w obszarze doświadczeń klientów oraz praktycznego wykorzystania danych do kształtowania skuteczniejszej cyfrowej przyszłości.
Starszy inżynier danych: praca zdalna w Macedonii Północnej w Valtech
Dołącz do Valtech jako starszy inżynier danych i twórz chmurowe platformy danych wspierające analitykę, AI, GenAI i produkty danych. Rola koncentruje się na skalowalnych potokach, architekturze lakehouse, zarządzaniu danymi i niezawodnym dostarczaniu danych.
Opis
- Tworzyć i optymalizować chmurowe platformy danych na potrzeby analityki, AI i produktów danych
- Tworzyć niezawodne potoki wsadowe, strumieniowe i działające niemal w czasie rzeczywistym przy użyciu narzędzi takich jak Spark i Delta Lake
- Tworzyć procesy pozyskiwania, transformacji i kuracji danych ustrukturyzowanych i nieustrukturyzowanych
- Wdrażać architektury lakehouse i warstwy medalionowe z użyciem Databricks lub Fabric
- Dostarczać przygotowane zbiory danych na potrzeby analityki, uczenia maszynowego, modelowania przyczynowego i optymalizacji
- Tworzyć przepływy danych GenAI obejmujące LLM, RAG, wyszukiwanie wektorowe i agentów
- Projektować skalowalne logiczne i fizyczne modele danych
- Orkiestracjeć przepływy pracy za pomocą Airflow, dbt, Databricks Workflows, Azure Data Factory lub porównywalnych narzędzi
- Stosować praktyki zarządzania danymi, śledzenia pochodzenia, zapewniania jakości, kontroli dostępu i bezpieczeństwa
- Ustanawiać monitoring aktualności danych, niezawodności potoków i realizacji SLA
- Wspierać warstwy udostępniania danych, takie jak API, dane wejściowe cech i analityczne punkty końcowe
- Optymalizować potoki i infrastrukturę pod kątem wydajności, skalowalności i efektywności kosztowej
- Doprecyzowywać i udoskonalać wymagania biznesowe wraz z interesariuszami
- Współpracować z analitykami danych, inżynierami ML, analitykami, zespołami platformowymi i interesariuszami biznesowymi
- Wspierać wdrażanie produktów danych i rozwijać praktyki ekosystemu danych i AI
Wymagania
- Doświadczenie na poziomie seniora w inżynierii danych
- Praktyczna znajomość Apache Spark i Delta Lake
- Bardzo dobra znajomość programowania w Pythonie i SQL
- Udokumentowane doświadczenie w budowaniu wsadowych i strumieniowych potoków danych
- Doświadczenie w dostarczaniu produkcyjnych platform danych
- Solidna znajomość zasad modelowania danych, jakości danych i zarządzania danymi
- Praktyczne doświadczenie z usługami danych AWS i Databricks Lakehouse lub usługami i narzędziami Microsoft Azure/Fabric
- Dogłębna znajomość co najmniej jednej ścieżki platformy AWS lub Azure/Fabric
- Doświadczenie z architekturami lakehouse i rozproszonymi systemami danych
- Bardzo dobre rozumienie skalowalności, niezawodności i wydajności potoków
- Umiejętność rozwiązywania problemów i podejście nastawione na współpracę między zespołami
- Znajomość Snowflake lub GCP będzie dodatkowym atutem, ale nie jest wymagana
- Doświadczenie w środowisku Agile lub konsultingu będzie dodatkowym atutem
- Dodatkowym atutem będzie doświadczenie z AWS i Azure/Fabric, systemami danych GenAI i AI, CI/CD dla potoków danych, Terraform lub CloudFormation, Kafką, optymalizacją Spark, zaawansowaną analityką, obciążeniami ML, produktami danych lub wielkoskalowymi platformami analitycznymi
- Nie określono wymagań dotyczących wykształcenia
Benefity
- Prywatne ubezpieczenie zdrowotne
- Szkolenia i certyfikacja w ramach programu edukacyjnego
- Program wellbeingowy
- Bezpłatna kawa, napoje i przekąski w pracy
- Kolacje firmowe
- Wydarzenia firmowe, takie jak wyjazdy na narty, karting, laser tag, degustacje win, pikniki i warsztaty kulinarne
- Konkurencyjne wynagrodzenie
- 24 dni urlopu
- Coroczne wydarzenia dla całego zespołu
- Ambitne projekty
- Kultura inkluzywna ze wsparciem rozwoju zawodowego
- Kultura otwartej informacji zwrotnej
- Racjonalne udogodnienia podczas rozmowy kwalifikacyjnej