
Beyond Soluções е технологична консултантска компания, която обслужва финансовия пазар чрез гъвкави екипи за изпълнение, технически консултации и софтуерно подпомагани услуги. Основана през 2017 г., компанията съчетава специализирани екипи с технологично консултиране и решения за таланти, включително Hunting и Outsourcing 2.0. Нейният продукт за дигитален онбординг използва изкуствен интелект, за да помага на организациите в сферата на финансовите услуги да привличат клиенти по-бързо и сигурно, като същевременно подпомага оперативната ефективност, спазването на регулаторните изисквания и по-бързото излизане на пазара.
Старши инженер данни — дистанционна работа в Бразилия
Старша позиция за инженер данни на дистанционна работа в Monte Bravo, свързана с изграждането на потоци от данни и lakehouse архитектура. Работа с Python, PySpark, AWS и dbt за разработване на иновативна финансова платформа.
Описание
- Разработване на Python приложения и готови за продукция потоци от данни
- Обработване на големи обеми данни в разпределени среди с PySpark
- Изграждане, управление и контрол на трансформациите на данни с dbt
- Оркестриране на работните потоци от данни чрез Airflow
- Използване на GitHub за контрол на версиите, pull заявки, прегледи на код и интеграция с CI/CD
- Работа с AWS услуги като Lambda, CloudWatch, S3, Redshift и Aurora
- Имплементиране и използване на Apache Iceberg
- Прилагане на моделите Data Lakehouse и Medallion Architecture
- Извършване на ETL и ELT процеси
- Помощ при изграждането на иновативна финансова платформа от нулата, без наследена техническа инфраструктура
Изисквания
- Доказан опит с Python при изграждане на производителни и лесни за поддръжка приложения и потоци от данни
- Опит с PySpark за обработка на големи разпределени масиви от данни
- Отлични познания по SQL
- Опит в изграждането и управлението на трансформации на данни с dbt
- Практически познания по Airflow за оркестриране на потоци
- Силен опит с GitHub, включително контрол на версиите, pull заявки, прегледи на код и интеграция с CI/CD
- Познания в AWS услугите, особено Lambda, CloudWatch, S3, Redshift и Aurora
- Опит с Apache Iceberg
- Разбиране на архитектурите Data Lakehouse и Medallion Architecture
- Опит с ETL и ELT работни потоци
- Опитът с Databricks е предимство
- Познанията по Kafka са предимство, особено за разработване на producer компоненти и обмен на съобщения, управляван от събития
Придобивки
- Възможности за професионално развитие от начало до край
- Подкрепяща и здравословна работна среда
- Практически проекти със значимо реално въздействие
- Култура, насърчаваща иновациите, техническата отговорност и самостоятелността
- Възможност за изграждане на платформа от нулата без наследена техническа инфраструктура
- Достъп до водещи инструменти, утвърдени добри практики и иновативни подходи