E
Experian сотрудничает с известными брендами в сфере цифрового опыта, технологий и трансформации бизнеса. Компания объединяет анализ клиентских данных, продуктовую стратегию, гибкие технологические решения, искусственный интеллект, облачную архитектуру и управление проектами, помогая организациям улучшать взаимодействие с клиентами и оптимизировать операционные процессы. Широкая технологическая и консалтинговая специализация компании может заинтересовать специалистов, рассматривающих роли в области цифровой трансформации, маркетинга, логистики и смежных бизнес-сервисов.
Ведущий инженер по данным в Experian — удалённая работа в Бразилии
Присоединяйтесь к команде ведущих инженеров по данным Experian и развивайте AWS-платформу петабайтного масштаба. Создавайте отказоустойчивые конвейеры и решения для маркетинга на основе данных с использованием Spark, JVM-языков и Python.
Описание
- Проектировать, создавать и совершенствовать AWS-платформу данных Experian петабайтного масштаба
- Разрабатывать и оптимизировать масштабируемые конвейеры с использованием JVM-языков, Spark, Python и облачных сервисов
- Обеспечивать эффективную, отказоустойчивую и готовую к эксплуатации обработку данных для аналитики и последующих продуктов
- Оказывать техническое лидерство на уровне principal посредством наставничества и тщательного анализа кода
- Продвигать инженерные стандарты и способствовать повышению зрелости инженерных процессов организации
- Формировать архитектуру и технические решения совместно с архитекторами, владельцами продуктов и руководителями инженерных команд
- Планировать и реализовывать сложные инициативы в гибких командах потоков создания ценности
- Обеспечивать операционную готовность посредством стандартов кодирования, тестирования, мониторинга и практик выпуска
- Поддерживать релизы в рабочей среде и помогать обеспечивать надёжность платформы
- Оценивать и внедрять технологии, включая интеграции GraphQL, векторные базы данных и методы ИИ/LLM
Требования
- Экспертный опыт в разработке программного обеспечения и инженерии данных для крупномасштабных платформ
- Глубокий опыт создания систем петабайтного масштаба с использованием языков на базе Java, таких как Scala, и Apache Spark
- Продвинутые знания сервисов данных AWS, включая Glue, S3, Athena, Managed Airflow и Iceberg
- Глубокое понимание распределённых систем и высокопараллельных рабочих нагрузок
- Подтверждённая способность оптимизировать запросы, секционировать данные и проектировать эффективные схемы хранения
- Отличное знание экосистемы облака AWS; опыт работы с Azure или GCP будет преимуществом
- Опыт формирования долгосрочной архитектуры и стратегии развития платформы
- Сильные навыки анализа кода, наставничества и технического лидерства
- Практический опыт работы в гибких командах и взаимодействия между инженерными командами
- Владение Git, GitHub и Bitbucket в многорепозиторной разработке
- Степень бакалавра в области компьютерных наук, инженерии или смежной области либо эквивалентный опыт
- Релевантный профессиональный опыт
- Продвинутый уровень английского языка
- Готовность при необходимости ездить в Сан-Карлус, штат Сан-Паулу
- Опыт работы с dbt или современными фреймворками преобразования данных
- Знание конкурентного и параллельного программирования
- Знакомство с Python, Angular и TypeScript
- Опыт работы с векторными базами данных, такими как pgvector и векторные поля Redis
- Практический опыт применения методов ИИ/LLM к платформам данных, доступу к данным или качеству программного обеспечения
Преимущества
- Удалённый формат работы
- Инклюзивные программы найма и профессионального развития
- Группы поддержки для недостаточно представленных сообществ, включая ExperianPride, Ubuntu, Women in Experian, Aspire и Connecting Generations