Capital One — компания в сфере финансовых услуг и финтеха, предлагающая кредитные карты, автокредиты, банковские продукты и сберегательные решения. В её работе финансовая экспертиза сочетается с технологиями и цифровыми инструментами, чтобы совершенствовать управление деньгами для клиентов. Компания уделяет особое внимание созданию решений, ориентированных на клиентов, и развитию разнообразной и инклюзивной рабочей среды.
Инженер по данным — Capital One (Нью-Йорк, работа в офисе)
Руководите миграцией между облаками для команды Travel Data в Capital One. Создавайте конвейеры на Python, Spark и Databricks для персонализированных туристических решений.
Описание
- Сотрудничать с Agile-командами при проектировании, разработке, тестировании, внедрении и поддержке технических решений
- Координировать работу разработчиков, аналитиков данных и специалистов по данным в областях машинного обучения, распределённых микросервисов, архитектуры lakehouse и полнофункциональных систем
- Работать с Python, Spark, реляционными и NoSQL-базами данных, а также облачными хранилищами, такими как Databricks и Snowflake
- Отслеживать тенденции в инженерии данных, оценивать новые технологии, участвовать в технологических сообществах и наставлять специалистов по данным
- Работать с продакт-менеджерами и разработчиками программного обеспечения над созданием облачных возможностей для работы с данными
- Самостоятельно проектировать, создавать и внедрять облачные приложения и решения для работы с данными
- Разрабатывать и применять инженерные шаблоны, повышающие качество, сопровождаемость и повторное использование кода
- Объяснять технические концепции и результаты анализа данных внутренним и внешним заинтересованным сторонам
- Создавать масштабируемые, отказоустойчивые и эффективные в эксплуатации конвейеры и платформы данных
- Применять методы защиты данных, включая шифрование и детализированное управление доступом
- Отвечать за важные компоненты крупномасштабной миграции между облаками для команды Travel Data
- Консолидировать данные из нескольких облаков в централизованном озере данных с использованием Python, Spark и Databricks
- Поддерживать персонализированные рекомендации в реальном времени, целевые туристические предложения и интеллектуальные преимущества для пользователей
Требования
- Степень бакалавра или выше в области компьютерных наук либо смежной количественной дисциплине
- Не менее четырёх лет опыта разработки приложений, не считая стажировок
- Не менее двух лет опыта работы с распределёнными данными
- Не менее двух лет опыта работы с SQL
- Не менее двух лет опыта работы с Python, Java или Scala
- Не менее двух лет опыта проектирования и разработки конвейеров данных
- Не менее одного года опыта моделирования данных и проектирования сквозных решений с реляционными и нереляционными базами данных
- Новые кандидаты не имеют права на поддержку работодателя в вопросах иммиграции или получения разрешения на работу
- Желательно не менее семи лет опыта разработки приложений
- Желательно не менее четырёх лет опыта проектирования, развёртывания и эксплуатации рабочих нагрузок в публичном облаке
- Желательно не менее четырёх лет опыта создания или поддержки распределённых рабочих нагрузок для обработки данных или вычислений с использованием EMR, Spark, Glue или Databricks
- Желательно не менее четырёх лет опыта проектирования, внедрения и эксплуатации конвейеров данных в реальном времени или потоковых конвейеров
- Желательно не менее двух лет опыта использования инструментов наблюдаемости данных или оркестрации, таких как Monte Carlo, Splunk, Airflow или Dagster
- Желательно не менее четырёх лет опыта работы с неструктурированными или полуструктурированными данными в NoSQL-базах данных
- Желательно не менее четырёх лет опыта проектирования и поддержки решений для хранилищ данных
- Желательно не менее двух лет работы в Agile-среде разработки
- Желательно не менее двух лет опыта разработки повторно используемых продуктов данных, ориентированных на пользователей
Преимущества
- Компенсация по результатам работы может включать денежные премии и/или долгосрочные стимулы
- Комплексный конкурентоспособный пакет медицинских, финансовых и других льгот, призванных поддерживать общее благополучие
- Для кандидатов с инвалидностью доступны разумные условия и адаптации