GFT Technologies to firma technologiczna zajmująca się transformacją cyfrową i działająca w obszarach doradztwa, ubezpieczeń oraz cyberbezpieczeństwa. Platforma Cookiebot pomaga organizacjom zbierać zgody użytkowników i zarządzać nimi, wspierając zgodność z przepisami dotyczącymi prywatności, w tym z RODO i CCPA. Rozwiązania firmy są projektowane z myślą o integracji z istniejącymi środowiskami cyfrowymi i są wykorzystywane przez ponad 600 000 klientów na całym świecie do zapewnienia większej przejrzystości i kontroli nad przetwarzaniem danych osobowych.
Inżynier danych Azure Databricks na poziomie mid/senior — praca zdalna w Kolumbii
Projektuj i optymalizuj potoki danych Azure i Databricks oraz architektury chmurowe w GFT Technologies. Przygotowuj wiarygodne dane na potrzeby analityki, sztucznej inteligencji i uczenia maszynowego.
Opis
- Projektowanie, tworzenie i optymalizowanie architektur danych opartych na Azure i Databricks
- Implementowanie procesów ETL i ELT w celu integracji wielu źródeł informacji
- Projektowanie i zarządzanie architekturami Data Lake i Lakehouse
- Monitorowanie potoków danych w celu zapewnienia spójności, jakości, identyfikowalności i bezpieczeństwa
- Przygotowywanie i optymalizowanie zbiorów danych na potrzeby zaawansowanej analityki, raportowania i modeli uczenia maszynowego
- Współpraca z zespołami BI, analityki i data science w celu poprawy dostępu do informacji
- Definiowanie i wdrażanie zarządzania danymi oraz kontroli jakości
- Wdrażanie procesów ciągłej integracji i ciągłego wdrażania dla rozwiązań danych
- Projektowanie skalowalnych rozwiązań do przetwarzania rozproszonego i dużych ilości danych
- Identyfikowanie usprawnień optymalizujących koszty, wydajność i czas przetwarzania
- Ocena nowych technologii i najlepszych praktyk w celu rozwoju platformy danych
Wymagania
- Wykształcenie wyższe w dziedzinie inżynierii systemów, przemysłowej, elektronicznej, mechatronicznej lub pokrewnej
- Od trzech do pięciu lat doświadczenia na stanowisku inżyniera danych
- Zaawansowana znajomość SQL
- Doświadczenie w pracy z Pythonem lub Scalą
- Doświadczenie w przetwarzaniu rozproszonym z użyciem PySpark
- Doświadczenie w pracy z Azure Databricks
- Doświadczenie w pracy z Azure Data Factory
- Doświadczenie w pracy z Azure Data Lake Storage Gen2 (ADLS Gen2)
- Znajomość Delta Lake
- Doświadczenie w pracy z architekturami Lakehouse
- Znajomość architektury Medallion
- Doświadczenie w modelowaniu wymiarowym
- Doświadczenie w pracy z relacyjnymi bazami danych
- Doświadczenie w pracy z bazami danych NoSQL
- Znajomość zarządzania danymi i jakości danych
- Doświadczenie w pracy z Unity Catalog
- Doświadczenie w pracy z Delta Live Tables (DLT)
- Znajomość Great Expectations
- Doświadczenie w przetwarzaniu strumieniowym za pośrednictwem Event Hubs
- Doświadczenie w pracy z Azure DevOps i Gitem
- Znajomość Entra ID
- Znajomość RBAC
- Biegłość w Power BI
- Biegłość w Visual Studio Code
- Doświadczenie w integracji danych oraz procesach ETL/ELT
- Doświadczenie w analizie i modelowaniu danych
- Certyfikaty Azure Data Engineering będą dodatkowym atutem
- Doświadczenie w projektach związanych ze sztuczną inteligencją i uczeniem maszynowym będzie dodatkowym atutem
- Znajomość DataOps i automatyzacji platform danych będzie dodatkowym atutem
Benefity
- Elastyczne godziny pracy
- Praca zdalna
- Indywidualny plan rozwoju kariery
- Programy szkoleniowe
- Praca w interdyscyplinarnych zespołach
- Różnorodny, międzynarodowy zespół
- Projekty o dużym wpływie realizowane dla czołowych klientów branżowych