DysrupIT — компания, предоставляющая облачные сервисы и ИТ-решения, которая помогает организациям модернизировать технологии и переходить к операционным моделям «как услуга». Компания работает в сфере корпоративных облачных решений, управляемых сервисов, разработки приложений, кибербезопасности, а также аналитики данных и управления информацией, поддерживая предприятия — от малого и среднего бизнеса до транснациональных корпораций. DysrupIT сотрудничает с Microsoft и другими облачными платформами, объединяя техническую реализацию, развитие талантов, вклад в развитие общества и долгосрочные партнерства для создания безопасных и масштабируемых технологических сред, соответствующих потребностям бизнеса.
Старший инженер данных, финансовые конвейеры GCP
Создавайте проверяемые конвейеры данных Google Cloud для финансовых операций, выставления счетов и инвойсинга. Используйте BigQuery, Python, SQL и средства контроля качества данных для точной сверки.
Описание
- Создавайте и поддерживайте конвейеры загрузки GCP для финансовых данных и данных по выставлению счетов.
- Разрабатывайте модели BigQuery с вложенными таблицами ARRAY/STRUCT, секционированием и кластеризацией.
- Добавляйте проверки сверки на уровнях источника, промежуточного хранения и выходных данных.
- Проверяйте входящие файлы и помещайте недействительные или неполные данные в карантин.
- Создавайте идемпотентные конвейеры, которые можно запускать повторно без дублирования или повреждения данных.
- Используйте таблицы только для добавления записей и представления в качестве проверок для поддержки аудируемости.
- Обрабатывайте денежные значения с помощью типов BigQuery NUMERIC и корректного округления.
- Управляйте справочными данными с датами действия, включая ставки, сопоставления и атрибуты клиентов.
- Отслеживайте происхождение данных от выходных результатов до исходных данных.
- Пишите типизированный, удобный в сопровождении и хорошо протестированный код Python с использованием pydantic и pytest.
- Разрабатывайте и оптимизируйте продвинутые запросы SQL для преобразования, сверки и отчетности.
- Сотрудничайте с командами разработки, аналитики и финансов, преобразуя бизнес-правила в надежную логику обработки данных.
- Наставляйте коллег и помогайте устанавливать стандарты и практики инженерии данных.
Требования
- Не менее шести лет опыта в инженерии данных.
- Подтвержденный опыт создания финансовых конвейеров или конвейеров выставления счетов, где необходимо сверять каждую сумму.
- Уверенное владение Python, включая pydantic, типизированный код и pytest.
- Продвинутые навыки SQL, включая сложные соединения, оконные функции и оптимизацию производительности.
- Глубокий опыт работы с Google BigQuery, включая вложенные таблицы ARRAY/STRUCT, секционирование и кластеризацию.
- Опыт точной обработки денежных значений с использованием типов данных NUMERIC.
- Опыт проектирования таблиц только для добавления записей и использования представлений для проверки данных.
- Глубокое знание практик обеспечения качества данных, включая сверки, проверку файлов и помещение данных в карантин.
- Опыт создания идемпотентных конвейеров, которые можно безопасно запускать повторно.
- Опыт реализации отслеживания происхождения данных и управления справочными данными с датами действия.
- Опыт инвойсинга, включая кредит-ноты, повторное выставление счетов, конвертацию валют и закрытие месяца.
- Опыт работы с финансовыми командами или командами выставления счетов в регулируемой среде или среде с аудитом.
- Опыт работы с другими сервисами GCP, такими как Cloud Storage, Cloud Run или Firestore.
Преимущества
- Конкурентное вознаграждение с учетом опыта.
- Льготы, предусмотренные государством.
- Дополнительное покрытие HMO.
- Совместная профессиональная рабочая среда.
- Возможности карьерного роста в развивающейся организации.
- Гибридный или удаленный формат работы, если применимо.
- Обучение для развития навыков и карьерного роста сотрудников.