Instituto de Pesquisas Eldorado to brazylijski instytut badawczo-rozwojowy założony w 1999 roku, który pomaga organizacjom przekształcać inicjatywy technologiczne w przetestowane produkty i praktyczne innowacje. Jego działalność obejmuje certyfikację produktów telekomunikacyjnych, badania laboratoryjne oraz doradztwo w zakresie innowacji dla takich sektorów, jak motoryzacja, ochrona zdrowia, logistyka, rolnictwo, energetyka oraz branża naftowo-gazowa. Instytut opracowuje również programy szkoleniowe i edukacyjne, a także współpracuje z partnerami przemysłowymi i naukowymi, aby rozwijać możliwości technologiczne.
Analityk danych — PySpark, SQL i Power BI
Twórz potoki danych, modele i pulpity nawigacyjne dla brazylijskiego centrum badawczo-rozwojowego Instituto de Pesquisas Eldorado. Pracuj z PySpark, SQL, Databricks i Power BI.
Opis
- Tworzyć i wdrażać potoki pozyskiwania danych z użyciem REST API, web scrapingu, starszych procedur SQL i plików
- Pomagać wdrażać replikację tylko do odczytu w systemach bez bezpośredniego dostępu do baz danych, uwzględniając wpływ na wydajność
- Przekształcać dane za pomocą PySpark i SQL
- Wspierać analizę porównawczą kosztów i wydajności przetwarzania oraz efektywne dobieranie zasobów
- Pomagać budować warstwy Bronze, Silver i Gold zgodnie z architekturą medallion
- Tworzyć odporne potoki scrapingu, które wykrywają zmiany układu stron i ograniczają ryzyko blokowania
- Usuwać duplikaty i normalizować dane oraz sprawdzać ich jakość
- Pomagać wdrażać kontrakty danych i alerty o zmianach schematu dla integracji z systemami zewnętrznymi
- Tworzyć pulpity nawigacyjne i raporty w Power BI
- Przekładać potrzeby biznesowe na modele danych i czytelne wizualizacje
- Stosować w raportach zabezpieczenia na poziomie wierszy zgodnie z politykami RBAC
- Tworzyć testy jakości danych i deklaratywne transformacje za pomocą dbt
- Pomagać konfigurować funkcje analityki samoobsługowej, w tym Fabric Copilot
- Współpracować z zespołami ds. zarządzania danymi, aby utrzymywać informacje o pochodzeniu danych i ich klasyfikacji
- Wykrywać i usuwać problemy z wydajnością potoków i zapytań
- Przeprowadzać testy akceptacyjne użytkowników i ulepszać pulpity na podstawie ich opinii
Wymagania
- Wykształcenie wyższe co najmniej licencjackie w dziedzinie informatyki, inżynierii komputerowej, analizy systemów lub pokrewnej
- Doświadczenie na poziomie średniozaawansowanym w inżynierii danych, Pythonie lub PySpark oraz SQL
- Znajomość Databricks lub Spark
- Znajomość narzędzi do orkiestracji, takich jak Azure Data Factory
- Znajomość analitycznych formatów danych, takich jak Parquet i Delta Lake
- Znajomość dbt będzie dodatkowym atutem
- Znajomość Git i CI/CD dla potoków danych
- Doświadczenie w integrowaniu danych przez REST API
- Znajomość praktyk wizualizacji danych i opowiadania historii za pomocą danych
- Doświadczenie w pracy z różnymi źródłami danych, w tym SQL, API, plikami, Lakehouse i Warehouse
- Doświadczenie we wdrażaniu zabezpieczeń na poziomie wierszy
- Gotowość do podróży do São Paulo będzie dodatkowym atutem
- Zaawansowana znajomość języka angielskiego będzie dodatkowym atutem
Benefity
- Równe szanse dla wszystkich kandydatów
- Zróżnicowane i inkluzywne miejsce pracy
- Zapraszamy osoby z niepełnosprawnościami
- Hybrydowy tryb pracy
- Możliwość zdobywania doświadczenia i udziału w istotnych projektach
- Dostęp do infrastruktury laboratoryjnej organizacji i projektów badawczo-rozwojowych