Oportun — финтех-компания, стремящаяся сделать повседневные финансовые инструменты более доступными. В число её продуктов входят персональные кредиты от 300 до 10 000 долларов США, решения для накоплений и приложение, которое помогает клиентам управлять заёмными средствами и откладывать деньги. Oportun также предоставляет образовательные материалы по финансам, кредитные калькуляторы и инструменты предварительной квалификации, позволяющие изучать доступные варианты без влияния на кредитный рейтинг. Компания сотрудничает с банками-партнёрами для предоставления депозитных счетов, застрахованных FDIC, и объединяет более 1 000 сотрудников в сферах финтеха, страхования и консалтинга.
Ведущий инженер по данным — Databricks (удалённая работа в Индии)
Руководите защищёнными продуктами данных и инфраструктурой lakehouse для финансовых операций Oportun в Индии. Отвечайте за архитектуру, рабочие конвейеры, управление данными, интеграции и данные коммуникаций с участниками.
Описание
- Создавать и эксплуатировать защищённые масштабируемые продукты данных для выбора аудиторий, проверки соответствия критериям, предпочтений, согласий, входных данных кампаний, данных о доставке и операционной отчётности.
- Определять защищённые архитектуры данных, включая модели, контракты, происхождение данных и стандарты зон ответственности.
- Отвечать за сложные инициативы в области инженерии данных — от технического анализа и проектирования до выпуска в эксплуатацию.
- Координировать инженеров и заинтересованных участников, управляя зависимостями, рисками и техническими решениями.
- Разрабатывать и оптимизировать рабочие конвейеры и интеграции с Databricks, Apache Spark, PySpark, Spark SQL, Delta Lake и SQL.
- Модернизировать подходящие устаревшие рабочие нагрузки данных.
- Внедрять надёжные подходы к загрузке данных, сверке, повторным попыткам, идемпотентности, восстановлению и развёртыванию.
- Поддерживать lakehouse и операционные активы данных, обеспечивая производительность, целостность, доступность и безопасность.
- Внедрять средства контроля качества и управления данными с помощью валидации, мониторинга, оповещений, дашбордов, эксплуатационных инструкций и отслеживания происхождения данных.
- Работать с командами конфиденциальности, комплаенса, управления рисками и безопасности над вопросами персональных данных, согласий, предпочтений, подавления, хранения и контроля доступа.
- Определять техническое направление через проектные и код-ревью, наставлять младших инженеров и руководить сложными расследованиями производственных проблем.
- Устанавливать коренные причины инцидентов и реализовывать долгосрочные корректирующие решения.
- Сотрудничать с командами продукта, коммуникаций, аналитики, инженерии, управления рисками, конфиденциальности, комплаенса и другими партнёрами.
- Готовить релизы с помощью автоматизированного тестирования, CI/CD, планирования вывода и измерения результатов после выпуска.
- Отслеживать производительность, качество, своевременность, стоимость и надёжность конвейеров.
- Разумно применять инструменты ИИ, чтобы сокращать повторяющуюся работу и укреплять инженерные решения.
Требования
- Не менее шести лет опыта в инженерии данных, включая архитектуру, конвейеры, платформы и эксплуатацию баз данных или lakehouse.
- Степень бакалавра или магистра в области компьютерных наук, науки о данных, инженерии или смежной дисциплине либо эквивалентный практический опыт.
- Продвинутое практическое владение Python, PySpark и SQL.
- Подтверждённые лидерские качества, аналитическое решение проблем, взвешенное суждение и ясная коммуникация.
- Опыт работы в промышленной эксплуатации с Databricks, Apache Spark, Spark SQL, Delta Lake, оркестрацией рабочих процессов, CI/CD, Git-процессами, автоматизированным тестированием и сквозными интеграциями или продуктами данных.
- Опыт обеспечения качества данных, наблюдаемости, оповещений, отслеживания происхождения данных и работы с облачными сервисами, особенно AWS.
- Опыт защиты конфиденциальных данных участников с помощью контроля доступа, управления секретами, шифрования и аудируемости, а также опыт работы по Agile.
- Опыт в финансовых услугах, кредитовании, маркетинговых технологиях, клиентских коммуникациях или другом регулируемом секторе.
- Знакомство с Unity Catalog или аналогичными платформами управления данными, а также с Java или Scala.
- Опыт применения таких инструментов, как ChatGPT или Copilot, для повышения инженерной продуктивности, тестирования, документирования, устранения неисправностей, обеспечения качества данных или эксплуатации.
- Понимание ИИ-агентов или автоматизаций и взвешенный подход к вопросам безопасности, конфиденциальности, точности и человеческого контроля.
Преимущества
- Медицинское, стоматологическое страхование и страхование зрения.
- Накопительный фонд.
- Страхование жизни и от несчастных случаев.
- Компенсация расходов на интернет.
- Компенсация расходов на топливо.
- Компенсация расходов на питание.
- Компенсация расходов на телефон.
- Пакет компенсаций и льгот, разработанный для поддержки физического, финансового и профессионального благополучия.