Instituto de Pesquisas Eldorado — бразильский научно-исследовательский и опытно-конструкторский институт, основанный в 1999 году. Он помогает организациям превращать технологические инициативы в протестированные продукты и практические инновации. Институт занимается сертификацией телекоммуникационной продукции, лабораторными испытаниями и консультациями по инновациям для таких отраслей, как автомобилестроение, здравоохранение, логистика, сельское хозяйство, энергетика и нефтегазовый сектор. Кроме того, институт разрабатывает программы обучения и образования, а также сотрудничает с промышленными и исследовательскими партнёрами для развития технологических возможностей.
Аналитик данных — PySpark, SQL и Power BI
Создавайте конвейеры обработки данных, модели и панели мониторинга для бразильского центра исследований и разработок Instituto de Pesquisas Eldorado. Используйте PySpark, SQL, Databricks и Power BI.
Описание
- Создавать и внедрять конвейеры загрузки данных с помощью REST API, веб-скрейпинга, устаревших SQL-процедур и файлов
- Помогать внедрять репликацию только для чтения для систем без прямого доступа к базам данных с учётом влияния на производительность
- Преобразовывать данные с помощью PySpark и SQL
- Участвовать в сравнительном анализе стоимости и производительности обработки, а также в эффективном подборе ресурсов
- Помогать создавать слои Bronze, Silver и Gold в соответствии с медальонной архитектурой
- Создавать отказоустойчивые конвейеры скрейпинга с обнаружением изменений в структуре страниц и мерами по обходу блокировок
- Удалять дубликаты и нормализовать данные, проверять их качество
- Помогать внедрять контракты данных и оповещения об изменениях схемы для интеграций со сторонними системами
- Создавать панели мониторинга и отчёты в Power BI
- Преобразовывать потребности бизнеса в модели данных и наглядные визуализации
- Применять к отчётам безопасность на уровне строк в соответствии с политиками RBAC
- Создавать тесты качества данных и декларативные преобразования с помощью dbt
- Помогать настраивать инструменты самостоятельной аналитики, включая Fabric Copilot
- Сотрудничать с командами по управлению данными для поддержки их происхождения и классификации
- Находить и устранять проблемы производительности в конвейерах и запросах
- Проводить приёмочное тестирование с пользователями и улучшать панели мониторинга на основе обратной связи
Требования
- Степень бакалавра в области информатики, компьютерной инженерии, системного анализа или смежной дисциплины
- Опыт среднего уровня в инженерии данных, Python или PySpark и SQL
- Знакомство с Databricks или Spark
- Знакомство с инструментами оркестрации, такими как Azure Data Factory
- Знакомство с аналитическими форматами данных, такими как Parquet и Delta Lake
- Знание dbt будет преимуществом
- Знакомство с Git и CI/CD для конвейеров данных
- Опыт интеграции данных через REST API
- Знание практик визуализации данных и сторителлинга на основе данных
- Опыт работы с различными источниками данных, включая SQL, API, файлы, Lakehouse и Warehouse
- Опыт внедрения безопасности на уровне строк
- Готовность ездить в Сан-Паулу будет преимуществом
- Продвинутый уровень английского языка будет преимуществом
Преимущества
- Равные возможности для всех кандидатов
- Разнообразная и инклюзивная рабочая среда
- К участию приглашаются кандидаты с инвалидностью
- Гибридный формат работы
- Возможность получить опыт и внести вклад в значимые проекты
- Доступ к лабораторной инфраструктуре организации и проектам в области исследований и разработок