Instituto de Pesquisas Eldorado — бразильський науково-дослідний та дослідно-конструкторський інститут, заснований у 1999 році. Він допомагає організаціям перетворювати технологічні ініціативи на протестовані продукти та практичні інновації. Інститут займається сертифікацією телекомунікаційної продукції, лабораторними випробуваннями й консультуванням з питань інновацій для таких галузей, як автомобільна промисловість, охорона здоров’я, логістика, сільське господарство, енергетика та нафтогазовий сектор. Також інститут розробляє навчальні й освітні програми та співпрацює з промисловими й дослідницькими партнерами для розширення технологічних можливостей.
Аналітик даних — PySpark, SQL і Power BI
Створюйте конвеєри обробки даних, моделі та інформаційні панелі для бразильського центру досліджень і розробок Instituto de Pesquisas Eldorado. Працюйте з PySpark, SQL, Databricks і Power BI.
Опис
- Створювати й упроваджувати конвеєри завантаження даних за допомогою REST API, вебскрейпінгу, застарілих SQL-процедур і файлів
- Допомагати впроваджувати реплікацію лише для читання для систем без прямого доступу до баз даних, зважаючи на вплив на продуктивність
- Перетворювати дані за допомогою PySpark і SQL
- Брати участь у порівняльному аналізі вартості та продуктивності обробки, а також в ефективному визначенні потрібних ресурсів
- Допомагати створювати рівні Bronze, Silver і Gold відповідно до медальйонної архітектури
- Створювати надійні конвеєри скрейпінгу з виявленням змін структури сторінок і заходами для запобігання блокуванням
- Усувати дублікати й нормалізувати дані, перевіряти їхню якість
- Допомагати впроваджувати контракти даних і сповіщення про зміни схем для інтеграцій зі сторонніми системами
- Створювати інформаційні панелі та звіти в Power BI
- Перетворювати потреби бізнесу на моделі даних і зрозумілі візуалізації
- Застосовувати до звітів безпеку на рівні рядків відповідно до політик RBAC
- Створювати тести якості даних і декларативні перетворення за допомогою dbt
- Допомагати налаштовувати функції самообслуговувальної аналітики, зокрема Fabric Copilot
- Співпрацювати з командами управління даними для підтримки їхнього походження та класифікації
- Виявляти й усувати проблеми продуктивності в конвеєрах і запитах
- Проводити приймальне тестування за участю користувачів і вдосконалювати панелі на основі відгуків
Вимоги
- Ступінь бакалавра з інформатики, комп’ютерної інженерії, системного аналізу або суміжної галузі
- Досвід рівня middle в інженерії даних, Python або PySpark і SQL
- Знайомство з Databricks або Spark
- Знайомство з інструментами оркестрації, як-от Azure Data Factory
- Знайомство з аналітичними форматами даних, як-от Parquet і Delta Lake
- Знання dbt буде перевагою
- Знайомство з Git і CI/CD для конвеєрів даних
- Досвід інтеграції даних через REST API
- Знання принципів візуалізації даних і сторітелінгу на основі даних
- Досвід роботи з різними джерелами даних, зокрема SQL, API, файлами, Lakehouse і Warehouse
- Досвід упровадження безпеки на рівні рядків
- Готовність їздити до Сан-Паулу буде перевагою
- Просунутий рівень англійської буде перевагою
Переваги
- Рівні можливості для всіх кандидатів
- Різноманітне та інклюзивне робоче середовище
- Запрошуємо кандидатів з інвалідністю
- Гібридний формат роботи
- Можливість здобувати досвід і долучатися до важливих проєктів
- Доступ до лабораторної інфраструктури організації та проєктів у сфері досліджень і розробок