Itix to brazylijska firma technologiczna i konsultingowa, która pomaga organizacjom modernizować działalność dzięki niestandardowym platformom programistycznym, dedykowanym zespołom deweloperskim oraz doradztwu technologicznemu. Jej usługi obejmują również wsparcie, analitykę i analizę biznesową, dzięki czemu klienci korporacyjni mogą usprawniać procesy i efektywniej wykorzystywać dane. Itix współpracuje z organizacjami z takich sektorów jak przemysł, finanse, opieka zdrowotna, logistyka, ubezpieczenia, energetyka, przemysł chemiczny i górnictwo, korzystając z rozproszonych zespołów działających w całej Brazylii.
Inżynier danych średniego szczebla w Itix (praca zdalna, Brazylia)
Dołącz do Itix jako inżynier danych i twórz potoki Lakehouse oraz rozwiązania RAG. Pracuj z Databricks, Delta Lake, embeddingami, jakością danych i zarządzaniem danymi.
Opis
- Tworzyć potoki ETL/ELT w Databricks lub środowiskach open source w ramach architektury medalionowej Delta Lake
- Przetwarzać i standaryzować dane z plików PDF i obrazów wraz z powiązanymi metadanymi
- Kuratorować i anonimizować dane zgodnie z brazylijską ustawą LGPD na potrzeby RAG, uczenia few-shot i zbiorów testowych
- Opracowywać i utrzymywać indeksy wektorowe z fragmentacją, embeddingami, aktualizacjami przyrostowymi i kontrolą wersji
- Tworzyć wersjonowane referencyjne zbiory danych do pomiaru dokładności i benchmarkingu
- Projektować utrwalanie danych z pętli sprzężenia zwrotnego i dostarczać dane do panelu jakości i SLA
- Łączyć bazy danych z usługami wnioskowania i zewnętrznymi interfejsami API, zarządzając wydajnością, kosztami, monitorowaniem i alertami
- Automatyzować przepływy pracy za pomocą Jobs, potoków CI/CD i testów jakości danych
Wymagania
- Zaawansowana znajomość języków Python i SQL
- Doświadczenie w modelowaniu danych oraz architekturach medalionowych lub Lakehouse
- Doświadczenie w budowaniu potoków dla danych nieustrukturyzowanych z plików PDF, obrazów i tekstu, w tym w przygotowywaniu danych na potrzeby RAG
- Znajomość wektorowych baz danych i embeddingów, takich jak Databricks Vector Search lub pgvector
- Doświadczenie w zakresie jakości danych, testowania i kontroli wersji
- Praktyczne doświadczenie z Databricks, Delta Lake, Workflows lub Jobs, notebookami, PySpark i Spark SQL
- Doświadczenie z Git i CI/CD
- Doświadczenie w pracy z Azure, AWS lub GCP
- Znajomość LGPD i zasad postępowania z danymi wrażliwymi
- Doświadczenie z Unity Catalog w zarządzanym środowisku
- Doświadczenie z MLflow, Databricks Model Serving lub Mosaic AI
- Doświadczenie z Delta Live Tables lub Lakeflow oraz Auto Loader
- Doświadczenie w ubezpieczeniach lub usługach finansowych
- Doświadczenie z Terraform lub Databricks Asset Bundles
- Certyfikat Databricks Data Engineer Associate lub Professional
Benefity
- Elastyczność geograficzna — praca z lokalizacji najlepiej dopasowanej do projektu
- Rabaty partnerskie
- Program poleceń pracowniczych z nagrodami
- Dzień wolny w dniu urodzin
- Dostęp do TotalPass lub Gympass
- Inicjatywy dotyczące zdrowia i dobrego samopoczucia
- Dostęp do biurowych stref relaksu z pufami, stołem bilardowym, grami wideo, salonem, w pełni wyposażoną kuchnią i kawą