Instituto de Pesquisas Eldorado е бразилски научноизследователски и развоен институт, основан през 1999 г., който помага на организациите да превръщат технологичните инициативи в тествани продукти и практически иновации. Дейността му включва сертифициране на телекомуникационни продукти, лабораторни изпитвания и консултиране в областта на иновациите за сектори като автомобилната индустрия, здравеопазването, логистиката, селското стопанство, енергетиката и нефтения и газовия сектор. Институтът също така разработва програми за обучение и образование и си сътрудничи с промишлени и научноизследователски партньори за разширяване на технологичните възможности.
Анализатор на данни – PySpark, SQL и Power BI
Изграждайте потоци за данни, модели и табла за бразилския център за научноизследователска и развойна дейност на Instituto de Pesquisas Eldorado. Работете с PySpark, SQL, Databricks и Power BI.
Описание
- Създавайте и внедрявайте потоци за приемане на данни чрез REST API, уеб скрейпинг, наследени SQL процедури и файлове
- Помагайте за внедряването на репликация само за четене за системи без пряк достъп до базата данни, като отчитате въздействието върху производителността
- Трансформирайте данни с PySpark и SQL
- Помагайте при оценката на разходите за обработка, сравнителните тестове за производителност и ефективното оразмеряване на ресурсите
- Помагайте за изграждането на слоеве за данни Bronze, Silver и Gold според медальонната архитектура
- Изграждайте устойчиви потоци за скрейпинг с откриване на промени в оформлението и мерки срещу блокиране
- Премахвайте дубликати, нормализирайте данните и проверявайте качеството им
- Помагайте за внедряването на договори за данни и сигнали за промени в схемата при интеграции с трети страни
- Създавайте табла и отчети в Power BI
- Превръщайте бизнес нуждите в модели на данни и ясни визуализации
- Прилагайте защита на ниво редове в отчетите съгласно правилата за RBAC
- Създавайте тестове за качество на данните и декларативни трансформации с dbt
- Помагайте при конфигурирането на функции за самообслужваща се аналитика, включително Fabric Copilot
- Работете с екипите за управление на данни за поддържане на произхода и класификацията на данните
- Откривайте и отстранявайте проблеми с производителността на потоците и заявките
- Провеждайте приемателни тестове с потребители и подобрявайте таблата въз основа на обратната връзка
Изисквания
- Бакалавърска степен по компютърни науки, компютърно инженерство, системен анализ или сродна област
- Опит на средно ниво в инженерството на данни, Python или PySpark и SQL
- Познания за Databricks или Spark
- Познания за инструменти за оркестрация като Azure Data Factory
- Познания за аналитични формати за данни като Parquet и Delta Lake
- Познанията по dbt са предимство
- Познания за Git и CI/CD за потоци от данни
- Опит с интегриране на данни чрез REST API
- Познания за практики за визуализация на данни и разказване на истории с данни
- Опит с различни източници на данни, включително SQL, API, файлове, Lakehouse и Warehouse
- Опит с внедряване на защита на ниво редове
- Готовността за пътуване до Сао Пауло е предимство
- Напредналото владеене на английски език е предимство
Придобивки
- Равни възможности за всички кандидати
- Разнообразна и приобщаваща работна среда
- Отворено за кандидати с увреждания
- Хибриден режим на работа
- Възможности за придобиване на опит и принос към значими проекти
- Достъп до лабораторната инфраструктура на организацията и до проекти за научноизследователска и развойна дейност