DysrupIT — компанія, що надає хмарні сервіси та ІТ-рішення, допомагаючи організаціям модернізувати технології й переходити до операційних моделей «як послуга». Її діяльність охоплює корпоративні хмарні рішення, керовані сервіси, розробку застосунків, кібербезпеку, аналітику даних і керування інформацією, підтримуючи бізнес — від малих і середніх організацій до транснаціональних підприємств. Компанія працює з Microsoft та іншими хмарними платформами, поєднуючи технічну реалізацію, розвиток талантів, внесок у розвиток спільнот і довгострокові партнерства для створення безпечних, масштабованих технологічних середовищ, узгоджених із потребами бізнесу.
Старший інженер даних, фінансові конвеєри GCP
Створюйте перевірювані конвеєри даних Google Cloud для фінансових операцій, виставлення рахунків та інвойсингу. Використовуйте BigQuery, Python, SQL і засоби контролю якості даних для точного звіряння.
Опис
- Створюйте й підтримуйте конвеєри завантаження GCP для фінансових даних і даних щодо виставлення рахунків.
- Розробляйте моделі BigQuery із вкладеними таблицями ARRAY/STRUCT, секціюванням і кластеризацією.
- Додавайте перевірки звіряння на рівнях джерела, проміжного зберігання та вихідних даних.
- Перевіряйте вхідні файли й поміщайте недійсні або неповні дані в карантин.
- Створюйте ідемпотентні конвеєри, які можна запускати повторно без дублювання чи пошкодження даних.
- Використовуйте таблиці лише для додавання записів і подання як перевірки для підтримки можливості аудиту.
- Обробляйте грошові значення за допомогою типів BigQuery NUMERIC і належного округлення.
- Керуйте довідковими даними з датами чинності, зокрема ставками, зіставленнями й атрибутами клієнтів.
- Відстежуйте походження даних від вихідних результатів до джерельних даних.
- Пишіть типізований, зручний у супроводі й добре протестований код Python із використанням pydantic і pytest.
- Розробляйте й оптимізуйте складні запити SQL для трансформації, звіряння та звітності.
- Співпрацюйте з командами розробки, аналітики та фінансів, перетворюючи бізнес-правила на надійну логіку обробки даних.
- Наставляйте колег і допомагайте запроваджувати стандарти та практики інженерії даних.
Вимоги
- Щонайменше шість років досвіду в інженерії даних.
- Підтверджений досвід створення фінансових конвеєрів або конвеєрів виставлення рахунків, де потрібно звіряти кожну суму.
- Впевнене володіння Python, зокрема pydantic, типізованим кодом і pytest.
- Просунуті навички SQL, зокрема складні об’єднання, віконні функції й оптимізація продуктивності.
- Глибокий досвід роботи з Google BigQuery, зокрема вкладеними таблицями ARRAY/STRUCT, секціюванням і кластеризацією.
- Досвід точного опрацювання грошових значень за допомогою типів даних NUMERIC.
- Досвід проєктування таблиць лише для додавання записів і використання подань для перевірки даних.
- Глибоке знання практик забезпечення якості даних, зокрема перевірок звіряння, валідації файлів і карантину.
- Досвід створення ідемпотентних конвеєрів, які можна безпечно запускати повторно.
- Досвід упровадження відстеження походження даних і керування довідковими даними з датами чинності.
- Досвід інвойсингу, що охоплює кредит-ноти, повторне виставлення рахунків, конвертацію валют і закриття місяця.
- Досвід роботи з фінансовими командами або командами виставлення рахунків у регульованому середовищі чи середовищі, що підлягає аудиту.
- Досвід роботи з іншими сервісами GCP, такими як Cloud Storage, Cloud Run або Firestore.
Переваги
- Конкурентна винагорода залежно від досвіду.
- Пільги, передбачені державою.
- Додаткове покриття HMO.
- Професійне робоче середовище зі співпрацею.
- Можливості кар’єрного зростання в організації, що розвивається.
- Гібридний або віддалений формат роботи, де це передбачено.
- Навчання для розвитку співробітників і просування кар’єри.