Walmart — это глобальная розничная и eCommerce-компания, которая обслуживает потребителей через гипермаркеты, универмаги со скидками, продуктовые магазины и онлайн-маркетплейс. Широкий ассортимент компании поддерживается разветвлённой сетью физических магазинов, прямыми продажами потребителям, а также логистическими системами и цепочками поставок, необходимыми для перемещения товаров по всему бизнесу.
Старший инженер по данным — Бангалор, Индия (офис)
Создавайте масштабируемые пакетные и потоковые конвейеры и продукты данных GenAI для операций Walmart по постплатёжному аудиту. Повышайте точность платежей, эффективность сверки, процессов возврата средств и финансовой аналитики.
Описание
- Создавать и поддерживать масштабируемые пакетные, потоковые конвейеры и конвейеры, работающие почти в реальном времени, для постплатёжного аудита, контроля корректности платежей, сверки с поставщиками, операций по возврату средств и финансовой аналитики.
- Разрабатывать подготовленные наборы данных, семантические модели, таблицы, готовые для использования признаков, и повторно используемые продукты данных на основе систем счетов-фактур, заказов на закупку, приёмки, поставщиков, претензий, цен и платежей.
- Создавать ELT-, ETL- и потоковые процессы с использованием SQL, Python, PySpark, Apache Flink, dbt, инструментов оркестрации, платформ потоковой передачи событий и облачных технологий работы с данными.
- Разрабатывать потоковые конвейеры и конвейеры захвата изменений данных с обработкой по времени событий, обработкой запаздывающих данных, возможностью воспроизведения, идемпотентностью, дозагрузкой исторических данных и восстановлением после сбоев.
- Проектировать и эксплуатировать продукты данных lakehouse с использованием Apache Hudi, Apache Iceberg или Delta Lake.
- Внедрять проверки качества данных, средства контроля сверки, валидацию схем, отслеживание происхождения данных, мониторинг, оповещения и практики наблюдаемости.
- Работать с командами финансов, аудита, операционной деятельности, продукта, Data Science и разработки для создания готовых к эксплуатации решений для работы с данными.
- Обеспечивать обнаружение аномалий, приоритизацию исключений, правила аудита, оценивание с помощью машинного обучения и рабочие процессы GenAI.
- Создавать средства автоматизации и сервисы данных, которые помогают аудиторским командам обобщать доказательства, сортировать исключения, предоставлять контекст для расследований и сокращать объём ручной проверки.
- Внедрять шаблоны инженерии данных GenAI, включая хранилища документов, готовые для поиска, конвейеры формирования эмбеддингов, интеграции с векторными базами данных, обогащение метаданных и управляемый поиск по знаниям.
- Повышать надёжность, актуальность, задержку обработки, эффективность управления состоянием, вычислительную эффективность и удобство использования пакетных и потоковых нагрузок downstream-системами.
- Исследовать расхождения в данных, сбои конвейеров, несоответствия при сверке и проблемы исходных систем с помощью анализа первопричин.
Требования
- Степень бакалавра в области компьютерных наук, инженерии, информационных технологий, инженерии данных, аналитики, математики, статистики или смежной дисциплины и не менее 6 лет релевантного опыта; либо степень магистра и не менее 4 лет опыта, либо степень PhD и не менее 3 лет релевантного опыта.
- Подтверждённые практические навыки работы с SQL, Python, PySpark, Apache Flink или сопоставимой платформой потоковой обработки, а также с распределённой обработкой данных в больших масштабах.
- Опыт работы с dbt или сопоставимой платформой трансформации, Airflow или аналогичными инструментами оркестрации, Kafka или эквивалентной платформой потоковой передачи событий и облачными или корпоративными технологиями работы с данными, такими как BigQuery, Hive или Spark.
- Опыт проектирования, развёртывания и поддержки промышленных пакетных и потоковых конвейеров, ELT/ETL-процессов, моделей данных и повторно используемых продуктов данных.
- Глубокое знание моделирования данных, секционирования, оптимизации производительности, инкрементальной обработки, CDC, эволюции схем, контрактов данных, управления метаданными, происхождения данных и lakehouse-форматов, включая Apache Hudi, Apache Iceberg или Delta Lake.
- Опыт внедрения проверок качества данных, логики сверки, платформ валидации, наблюдаемости, мониторинга, оповещений и устранения инцидентов в промышленных конвейерах.
- Опыт разработки потоковых решений с обработкой по времени событий, преобразованиями с сохранением состояния, контрольными точками, водяными знаками, обработкой с гарантией exactly-once или effectively-once, а также стратегиями воспроизведения или дозагрузки.
- Опыт работы с большими структурированными и полуструктурированными наборами данных из нескольких исходных систем, включая операционные данные с непоследовательными бизнес-определениями.
- Сильные навыки сотрудничества и способность работать с командами финансов, аудита, операционной деятельности, продукта, Data Science и разработки.
- Минимальные альтернативы квалификации: степень бакалавра в области компьютерных наук и 3 года опыта разработки программного обеспечения или смежного опыта; 5 лет опыта разработки программного обеспечения или смежного опыта; либо степень магистра в области компьютерных наук и 1 год опыта разработки программного обеспечения или смежного опыта.
- Не менее 2 лет опыта в инженерии данных, инженерии баз данных, бизнес-аналитике или бизнес-анализе.
Преимущества
- Премии по результатам работы.
- Отпуск по беременности и родам и отпуск по уходу за ребёнком.
- Оплачиваемый отпуск.
- Медицинские льготы.