ClickBus е туристическа платформа, която помага на хората да търсят и купуват билети за междуградски автобуси в Бразилия и Латинска Америка. Нейният уебсайт и мобилно приложение свързват пътниците с повече от 200 автобусни компании и над 4 800 дестинации, а функции като ClickOferta и различните начини на плащане отговарят на разнообразни нужди при резервация. Компанията се стреми да улесни планирането и закупуването на пътувания на дълги разстояния с автобус чрез дигитална платформа.
Инженер по данни на средно ниво в ClickBus
Изграждайте и оптимизирайте пакетни и поточни конвейери за данни за пазара на автобусни билети на ClickBus. Работете с AWS, Spark, Airflow, dbt и практики за качество на данните, за да подобрявате производителността, разходите и надеждността.
Описание
- Изграждайте, поддържайте и подобрявайте пакетни и поточни конвейери с Airflow в EKS, EMR/Spark и dbt
- Създавайте процеси за приемане на данни от DMS, API, файлове и събития, като организирате данните в слоевете на Data Lake
- Диагностицирайте и разрешавайте инциденти в конвейерите, включително неуспешни DAG процеси, грешки при обработката, несъответстващи метрики и проблеми със схемите
- Извършвайте анализи на първопричините и препоръчвайте промени, които предотвратяват повтарящи се сривове
- Поддържайте качеството на данните чрез автоматизирано тестване, проверки за валидност и процеси за съгласуване
- Разработвайте и настройвайте трансформации в Spark и dbt за по-добра производителност и контрол на разходите
- Оптимизирайте заявки в Athena и модели в dbt, за да намалите разходите за обработка и да подобрите времето за отговор
- Прилагайте инкрементално зареждане с append, overwrite и merge/upsert при последователна и идемпотентна обработка
- Допринасяйте за технически подобрения и стандартизация с развитието на архитектурата на данните
- Преглеждайте кода и прилагайте добри практики за контрол на версиите и техническа документация
- Партнирайте си с бизнес екипите, за да потвърдите, че предоставените данни отговарят на функционалните потребности
- Наблюдавайте изпълнението на конвейерите и идентифицирайте възможности за постоянно подобрение
Изисквания
- Доказан опит като инженер по данни в облачна среда
- Практически опит в изграждането и експлоатацията на продукционни конвейери за данни
- Опит в отстраняването на неизправности и разрешаването на инциденти с данни
- Опит в проектирането на аналитични модели с фактологични и измерения таблици
- Познания за стратегии за инкрементално зареждане и партициониране на данни
- Работни познания за услугите на AWS, включително S3, Athena, IAM и Glue Catalog; опитът с EMR е предимство
- Опит в създаването и поддръжката на DAG процеси в Airflow
- Практически умения с PySpark, включително съединявания, партициониране и основна настройка на производителността
- Опит с моделиране в dbt, инкрементални модели и тестване
- Напреднало владеене на SQL
- Умения за програмиране с Python
- Опит с Git
Придобивки
- Месечна надбавка за храна или хранителни продукти от 1 100 BRL, предоставяна чрез карта Flash
- Месечна надбавка за домашен офис от 149 BRL, предоставяна чрез карта Flash
- Месечна надбавка за гъвкави придобивки от 200 BRL, предоставяна чрез карта Flash
- Придобивка Busonauta Viajante на стойност 2 000 BRL годишно за покупки на автобусни билети чрез приложението или уебсайта
- Надбавка за транспорт
- Придобивка за паркиране
- Здравна застраховка SulAmérica без доплащания и месечна премия
- Дентална застраховка Bradesco
- Помощ за отглеждане на деца за майки и бащи
- Шест месеца отпуск по майчинство и 30 дни отпуск по бащинство
- Животозастраховане
- Достъп до Wellhub и TotalPass
- Годишен бонус за участие в печалбата
- Почивен ден за рождения ден
- Партньорство с Petlove
- Помощ за лекарства
- Подкрепа за деца с увреждания
- Партньорства с образователни и развлекателни институции