Valtech to globalna agencja cyfrowa, która pomaga organizacjom poprawiać doświadczenia klientów i rozwijać działalność cyfrową. Firma łączy technologie, marketing, dane i sztuczną inteligencję, wspierając inicjatywy handlowe, cyfrową transformację przedsiębiorstw oraz zwiększanie skuteczności marketingu. Dzięki zespołom i biurom na całym świecie Valtech współpracuje z firmami w zakresie strategii cyfrowej, innowacji w obszarze doświadczeń klientów oraz praktycznego wykorzystania danych do kształtowania skuteczniejszej cyfrowej przyszłości.
Starszy inżynier danych — praca zdalna w Portugalii
Starszy inżynier danych w Valtech, rozwijający chmurowe platformy danych wspierające analitykę, sztuczną inteligencję i produkcyjne produkty danych. Rola obejmuje skalowalne potoki, architekturę lakehouse, generatywną AI oraz systemy uczenia maszynowego.
Opis
- Projektowanie, rozwijanie i doskonalenie chmurowych platform danych wspierających analitykę, sztuczną inteligencję i produkty danych
- Tworzenie niezawodnych potoków wsadowych, strumieniowych i działających niemal w czasie rzeczywistym dla informacji ustrukturyzowanych i nieustrukturyzowanych
- Opracowywanie przepływów pracy na potrzeby pozyskiwania, transformacji, przygotowywania i udostępniania danych
- Wdrażanie projektów lakehouse i architektury medalionowej z użyciem Databricks lub Fabric
- Tworzenie przygotowanych zbiorów danych na potrzeby analityki, uczenia maszynowego, modelowania przyczynowego, optymalizacji, generatywnej AI, RAG i aplikacji opartych na agentach
- Stosowanie MLflow, Unity Catalog, Azure ML i porównywalnych narzędzi platformowych do obsługi produkcyjnych systemów AI
- Tworzenie modeli danych i koordynowanie przepływów pracy za pomocą Airflow, dbt, Databricks Workflows, Azure Data Factory lub porównywalnych narzędzi
- Ustanawianie praktyk zarządzania danymi, śledzenia pochodzenia, zapewniania jakości, kontroli dostępu i obserwowalności
- Monitorowanie aktualności danych, niezawodności potoków, realizacji SLA, skalowalności, efektywności i kosztów
- Udostępnianie interfejsów API, cech oraz analitycznych punktów końcowych dla dalszych aplikacji uczenia maszynowego i AI
- Doprecyzowywanie i udoskonalanie potrzeb biznesowych poprzez współpracę z interesariuszami i analizę
- Ścisła współpraca z naukowcami danych, inżynierami uczenia maszynowego, analitykami, zespołami platformowymi i interesariuszami biznesowymi
- Wspieranie wdrażania produktów danych oraz rozwijanie praktyk związanych z danymi i AI
Wymagania
- Praktyczna znajomość Apache Spark i Delta Lake
- Bardzo dobra znajomość programowania w Pythonie i SQL
- Udokumentowane doświadczenie w budowaniu potoków wsadowych i strumieniowych oraz produkcyjnych platform danych
- Dobra znajomość zasad modelowania danych, jakości danych i zarządzania danymi
- Praktyczne doświadczenie z usługami danych AWS i Databricks Lakehouse albo z Microsoft Azure/Fabric i powiązanymi narzędziami
- Doświadczenie z architekturami lakehouse i rozproszonymi systemami danych
- Bardzo dobre rozumienie skalowalności, niezawodności i wydajności potoków
- Ciekawość i dobrze rozwinięte umiejętności rozwiązywania problemów
- Doświadczenie we współpracy w zespołach interdyscyplinarnych
- Doświadczenie w środowisku Agile lub konsultingu będzie dodatkowym atutem
- Znajomość Snowflake lub GCP będzie dodatkowym atutem, ale nie jest wymagana
- Znajomość AWS i Azure/Fabric, systemów danych dla generatywnej AI i AI, CI/CD potoków danych oraz infrastruktury jako kodu jest mile widziana, ale nie jest wymagana
- Dodatkowe doświadczenie z Kafką, optymalizacją Sparka, zaawansowaną analityką i obciążeniami uczenia maszynowego lub platformami analitycznymi na dużą skalę będzie cenne
Benefity
- Elastyczność pracy zdalnej i hybrydowej, zależnie od kraju
- Możliwości rozwoju kariery dzięki mobilności międzynarodowej i programom rozwoju zawodowego
- Możliwości nauki obejmujące aktualne narzędzia, szkolenia i ekspertów branżowych
- Konkurencyjny pakiet wynagrodzenia