Walmart — це глобальна роздрібна та eCommerce-компанія, яка обслуговує споживачів через гіпермаркети, універмаги зі знижками, продуктові магазини та онлайн-маркетплейс. Широкий асортимент компанії підтримується розгалуженою мережею фізичних магазинів, прямими продажами споживачам, а також логістичними системами й ланцюгами постачання, необхідними для переміщення товарів у межах усього бізнесу.
Старший інженер з даних — Бангалор, Індія (офіс)
Створюйте масштабовані пакетні та потокові конвеєри й продукти даних GenAI для операцій Walmart із післяплатіжного аудиту. Підвищуйте точність платежів, ефективність звірки, процесів повернення коштів і фінансової аналітики.
Опис
- Створювати та підтримувати масштабовані пакетні, потокові конвеєри й конвеєри, що працюють майже в реальному часі, для післяплатіжного аудиту, контролю коректності платежів, звірки з постачальниками, операцій із повернення коштів і фінансової аналітики.
- Розробляти підготовлені набори даних, семантичні моделі, таблиці, готові до використання ознак, і повторно використовувані продукти даних на основі систем рахунків-фактур, замовлень на закупівлю, приймання, постачальників, претензій, цін і платежів.
- Створювати ELT-, ETL- і потокові процеси за допомогою SQL, Python, PySpark, Apache Flink, dbt, інструментів оркестрації, платформ потокової передачі подій і хмарних технологій роботи з даними.
- Розробляти потокові конвеєри та конвеєри захоплення змін даних з обробкою за часом подій, обробкою запізнілих даних, можливістю відтворення, ідемпотентністю, дозавантаженням історичних даних і відновленням після збоїв.
- Проєктувати та експлуатувати продукти даних lakehouse із використанням Apache Hudi, Apache Iceberg або Delta Lake.
- Запроваджувати перевірки якості даних, засоби контролю звірки, валідацію схем, відстеження походження даних, моніторинг, сповіщення та практики спостережуваності.
- Працювати з командами фінансів, аудиту, операцій, продукту, Data Science та розробки, щоб створювати готові до експлуатації рішення для роботи з даними.
- Забезпечувати виявлення аномалій, пріоритизацію винятків, правила аудиту, оцінювання за допомогою машинного навчання та робочі процеси GenAI.
- Створювати засоби автоматизації та сервіси даних, які допомагають аудиторським командам узагальнювати докази, сортувати винятки, надавати контекст для розслідувань і зменшувати обсяг ручної перевірки.
- Впроваджувати шаблони інженерії даних GenAI, зокрема сховища документів, готові до пошуку, конвеєри створення ембедингів, інтеграції з векторними базами даних, збагачення метаданих і керований пошук за знаннями.
- Підвищувати надійність, актуальність, затримку обробки, ефективність керування станом, обчислювальну ефективність і зручність використання пакетних і потокових навантажень downstream-системами.
- Досліджувати розбіжності в даних, збої конвеєрів, невідповідності під час звірки та проблеми вихідних систем за допомогою аналізу першопричин.
Вимоги
- Ступінь бакалавра в галузі комп’ютерних наук, інженерії, інформаційних технологій, інженерії даних, аналітики, математики, статистики або суміжної дисципліни та щонайменше 6 років релевантного досвіду; або ступінь магістра та щонайменше 4 роки досвіду, або ступінь PhD та щонайменше 3 роки релевантного досвіду.
- Підтверджені практичні навички роботи з SQL, Python, PySpark, Apache Flink або зіставною платформою потокової обробки, а також із розподіленою обробкою даних у великих масштабах.
- Досвід роботи з dbt або зіставною платформою трансформації, Airflow або подібними інструментами оркестрації, Kafka або еквівалентною платформою потокової передачі подій і хмарними чи корпоративними технологіями роботи з даними, такими як BigQuery, Hive або Spark.
- Досвід проєктування, розгортання та підтримки промислових пакетних і потокових конвеєрів, ELT/ETL-процесів, моделей даних і повторно використовуваних продуктів даних.
- Ґрунтовні знання моделювання даних, секціонування, оптимізації продуктивності, інкрементальної обробки, CDC, еволюції схем, контрактів даних, керування метаданими, походження даних і lakehouse-форматів, зокрема Apache Hudi, Apache Iceberg або Delta Lake.
- Досвід упровадження перевірок якості даних, логіки звірки, платформ валідації, спостережуваності, моніторингу, сповіщень і розв’язання інцидентів у промислових конвеєрах.
- Досвід розроблення потокових рішень з обробкою за часом подій, перетвореннями зі збереженням стану, контрольними точками, водяними знаками, обробкою з гарантією exactly-once або effectively-once, а також стратегіями відтворення чи дозавантаження.
- Досвід роботи з великими структурованими та напівструктурованими наборами даних із кількох вихідних систем, зокрема з операційними даними, що мають непослідовні бізнес-визначення.
- Сильні навички співпраці та здатність працювати з командами фінансів, аудиту, операцій, продукту, Data Science і розробки.
- Мінімальні альтернативи кваліфікації: ступінь бакалавра в галузі комп’ютерних наук і 3 роки досвіду розроблення програмного забезпечення або суміжного досвіду; 5 років досвіду розроблення програмного забезпечення або суміжного досвіду; або ступінь магістра в галузі комп’ютерних наук і 1 рік досвіду розроблення програмного забезпечення або суміжного досвіду.
- Щонайменше 2 роки досвіду в інженерії даних, інженерії баз даних, бізнес-аналітиці або бізнес-аналізі.
Переваги
- Премії за результатами роботи.
- Відпустка у зв’язку з вагітністю та пологами й батьківська відпустка.
- Оплачувана відпустка.
- Медичні пільги.