Keep IT Simple (KIS) to dostawca usług i rozwiązań IT z Doliny Krzemowej, obsługujący organizacje w całej Kalifornii i poza nią. Założona w 1988 roku firma pomaga klientom rozwiązywać złożone problemy technologiczne w obszarach cyberbezpieczeństwa, wirtualizacji, rozwiązań chmurowych i doradztwa dotyczącego infrastruktury sieciowej. Firma działa w branżach takich jak logistyka, ochrona zdrowia i cyberbezpieczeństwo, kładąc nacisk na praktyczne doradztwo IT, rozwiązania uwzględniające koszty oraz sprawną obsługę klienta.
Starszy inżynier danych: Databricks i platformy danych dla AI
Kieruj projektowaniem platform danych Databricks dla globalnej firmy ubezpieczeniowej i zarządzającej aktywami. Zapewniaj analitykę w chmurze, AI i uczenie maszynowe, ład danych oraz modernizację przedsiębiorstwa.
Opis
- Projektować i utrzymywać skalowalne potoki danych z wykorzystaniem Databricks, Spark i technologii chmurowych.
- Tworzyć i optymalizować platformy wsadowego i strumieniowego pozyskiwania danych w czasie rzeczywistym.
- Opracowywać wielokrotnego użytku wzorce inżynieryjne i akceleratory dla korporacyjnych rozwiązań danych.
- Wdrażać jakość danych, obserwowalność, śledzenie pochodzenia danych i ład w całym ekosystemie danych.
- Wspierać inicjatywy na dużą skalę dotyczące modernizacji danych i migracji do chmury.
- Projektować architektury Delta Lake i modele danych Medallion.
- Tworzyć zoptymalizowane potoki ETL i ELT przy użyciu notebooków, przepływów pracy i Delta Live Tables w Databricks.
- Ustanawiać praktyki dostrajania wydajności, optymalizacji kosztów i zarządzania obciążeniami.
- Korzystać z Unity Catalog do zarządzania danymi, bezpieczeństwem i metadanymi.
- Wdrażać potoki CI/CD i infrastrukturę jako kod na potrzeby wdrożeń Databricks.
- Projektować natywne dla chmury architektury danych dla Azure i AWS.
- Integrować korporacyjne źródła danych, w tym SQL Server, Oracle, API, SaaS i platformy strumieniowe.
- Tworzyć odporne i bezpieczne usługi danych spełniające wymagania wysokiej dostępności i odzyskiwania po awarii.
- Współpracować z zespołami infrastruktury i bezpieczeństwa przy stosowaniu zabezpieczeń chmurowych i standardów zgodności.
- Tworzyć i optymalizować produkty danych dla AI, uczenia maszynowego i generatywnej AI.
- Opracowywać potoki inżynierii cech i przygotowane zestawy danych do trenowania modeli i wnioskowania.
- Wspierać wektorowe bazy danych, wyszukiwanie semantyczne, generowanie wspomagane wyszukiwaniem oraz aplikacje oparte na dużych modelach językowych.
- Współpracować z analitykami danych i inżynierami AI przy wdrażaniu rozwiązań uczenia maszynowego do użytku produkcyjnego.
- Stosować praktyki MLOps i DataOps, aby wspierać skalowalne wdrażanie AI.
- Prowadzić złożone inicjatywy z zakresu inżynierii danych.
- Ustanawiać standardy architektury, praktyki inżynieryjne i wytyczne programistyczne.
- Mentorować młodszych i średnio zaawansowanych inżynierów.
- Przeglądać architektury i przedstawiać zalecenia techniczne.
- Promować automatyzację, obserwowalność i praktyki inżynierii platform.
Wymagania
- Wykształcenie wyższe co najmniej licencjackie w zakresie informatyki, technologii informacyjnych, inżynierii lub pokrewnej dziedziny.
- Co najmniej 8 lat doświadczenia w inżynierii danych, hurtowniach danych lub tworzeniu platform danych.
- Co najmniej 5 lat praktycznego doświadczenia z Databricks i Apache Spark.
- Doświadczenie w projektowaniu i wdrażaniu korporacyjnych platform danych w chmurze.
- Doświadczenie w prowadzeniu inicjatyw technicznych i mentoringu zespołów inżynieryjnych.
- Doświadczenie z Databricks, Apache Spark (PySpark i Spark SQL), Delta Lake, Delta Live Tables, Unity Catalog, hurtowniami danych i modelowaniem danych.
- Doświadczenie z Pythonem, SQL oraz PowerShell lub automatyzacją skryptową.
- Doświadczenie z Microsoft Azure, AWS oraz natywnymi dla chmury usługami przechowywania i obliczeniowymi.
- Doświadczenie z SQL Server, Oracle, PostgreSQL i bazami danych.
- Doświadczenie z Azure Data Factory, Databricks Workflows, Kafka lub strumieniowym przetwarzaniem zdarzeń oraz interfejsami REST API.
- Doświadczenie z GitHub, Azure DevOps, potokami CI/CD, Terraform i infrastrukturą jako kodem.
- Znajomość narzędzi do monitorowania i alarmowania, frameworków jakości danych, optymalizacji wydajności, rejestrowania i rozwiązywania problemów.
- Znajomość potoków danych uczenia maszynowego, magazynów cech, MLOps, koncepcji generatywnej AI, wektorowych baz danych, generowania wspomaganego wyszukiwaniem, zarządzania AI i zasad odpowiedzialnej AI.
- Preferowane certyfikaty: Databricks Certified Data Engineer Professional, Azure Data Engineer Associate lub AWS Data Analytics.
- Preferowane doświadczenie w branżach regulowanych, korporacyjnych programach ładu danych i produkcyjnych integracjach AI.
- Myślenie strategiczne, umiejętność rozwiązywania problemów, przywództwo techniczne, projektowanie architektury, zarządzanie interesariuszami, komunikacja i prezentacja; ciągłe doskonalenie, innowacyjność i wdrażanie AI oraz świadomość ryzyka i zgodności.
Benefity
- Forma współpracy: niezależny kontraktor (Pessoa Jurídica, PJ).
- Hybrydowy tryb pracy z możliwością pracy zdalnej przez część czasu.