Walmart е глобална компания за търговия на дребно и електронна търговия, която обслужва потребителите чрез хипермаркети, дискаунт магазини, хранителни магазини и онлайн пазар. Широката ѝ продуктова гама се поддържа от голяма мрежа от физически магазини, директни операции към потребителите и логистични системи и системи за управление на веригата на доставки, необходими за движението на продуктите в рамките на бизнеса.
Старши инженер по данни – Бангалор, Индия (присъствено)
Създавайте мащабируеми пакетни и поточни конвейери и GenAI продукти за данни за операциите на Walmart по одит след плащане. Подобрявайте точността на плащанията, съгласуването, процесите по възстановяване и финансовата аналитика.
Описание
- Създавайте и поддържайте мащабируеми пакетни, поточни и почти реалновременни конвейери за одит след плащане, интегритет на плащанията, съгласуване на доставчици, операции по възстановяване и финансова аналитика.
- Разработвайте подбрани набори от данни, семантични модели, таблици, готови за използване като характеристики, и многократно използваеми продукти за данни от системи за фактури, поръчки за покупка, приемане, доставчици, искове, ценообразуване и плащания.
- Създавайте ELT, ETL и поточни работни процеси със SQL, Python, PySpark, Apache Flink, dbt, инструменти за оркестрация, платформи за поточно предаване на събития и облачни технологии за данни.
- Разработвайте поточни конвейери и конвейери за улавяне на промени в данните с обработка по време на събитието, обработка на закъснели данни, възможност за повторно възпроизвеждане, идемпотентност, допълващо зареждане и възстановяване при отказ.
- Проектирайте и управлявайте продукти за данни в lakehouse, използвайки Apache Hudi, Apache Iceberg или Delta Lake.
- Въвеждайте проверки за качество на данните, контроли за съгласуване, валидиране на схеми, проследяване на произхода, мониторинг, известяване и практики за наблюдаемост.
- Работете с екипите по финанси, одит, операции, продукти, наука за данните и инженеринг за създаване на готови за продукция решения за данни.
- Осигурявайте откриване на аномалии, приоритизиране на изключения, одитни правила, машинно обучение за оценяване и GenAI работни процеси.
- Създавайте автоматизация и услуги за данни, които помагат на одитните екипи да обобщават доказателства, да сортират изключения, да предоставят контекст за разследване и да намаляват ръчния преглед.
- Прилагайте модели за инженеринг на данни за GenAI, като хранилища за документи, готови за извличане, конвейери за embeddings, интеграции с векторни бази данни, обогатяване на метаданни и управлявано извличане на знания.
- Подобрявайте пакетните и поточните работни натоварвания по отношение на надеждност, актуалност, латентност, управление на състоянието, изчислителна ефективност и използваемост за последващите системи.
- Разследвайте несъответствия в данните, откази на конвейери, разминавания при съгласуване и проблеми в изходните системи чрез анализ на първопричината.
Изисквания
- Бакалавърска степен по компютърни науки, инженерство, информационни технологии, инженеринг на данни, аналитика, математика, статистика или сродна дисциплина и над 6 години релевантен опит; алтернативно, магистърска степен с над 4 години или докторска степен с над 3 години релевантен опит.
- Доказани практически умения със SQL, Python, PySpark, Apache Flink или сравнима рамка за поточна обработка и разпределена обработка на данни в голям мащаб.
- Опит с dbt или сравнима рамка за трансформации, Airflow или сходни инструменти за оркестрация, Kafka или еквивалентна платформа за поточно предаване на събития и облачни или корпоративни технологии за данни като BigQuery, Hive или Spark.
- Доказан опит в проектирането, внедряването и поддръжката на производствени пакетни и поточни конвейери, ELT/ETL работни процеси, модели на данни и многократно използваеми продукти за данни.
- Солидни познания по моделиране на данни, партициониране, настройка на производителността, инкрементална обработка, CDC, еволюция на схеми, договори за данни, управление на метаданни, произход и lakehouse формати, включително Apache Hudi, Apache Iceberg или Delta Lake.
- Опит в създаването на проверки за качество на данните, логика за съгласуване, рамки за валидиране, наблюдаемост, мониторинг, известяване и разрешаване на инциденти за производствени конвейери.
- Опит в разработването на поточни решения с обработка по време на събитието, трансформации със състояние, checkpointing, watermarking, обработка exactly-once или effectively-once и стратегии за повторно възпроизвеждане или допълващо зареждане.
- Опит с големи структурирани и полуструктурирани набори от данни от множество изходни системи, включително оперативни данни с непоследователни бизнес дефиниции.
- Силни умения за сътрудничество и способност за работа с екипите по финанси, одит, операции, продукти, наука за данните и инженеринг.
- Минималните алтернативни квалификации включват бакалавърска степен по компютърни науки с 3 години опит в софтуерното инженерство или сродна област; 5 години опит в софтуерното инженерство или сродна област; или магистърска степен по компютърни науки с 1 година опит в софтуерното инженерство или сродна област.
- Най-малко 2 години опит в инженеринг на данни, инженеринг на бази данни, бизнес интелигентност или бизнес аналитика.
Придобивки
- Стимулиращи награди, основани на резултатите.
- Отпуск по майчинство и родителски отпуск.
- Платен отпуск.
- Здравни придобивки.