EXL
EXL
EXL — консалтинговая компания и поставщик бизнес-услуг, помогающая организациям использовать данные, аналитику и технологии для повышения эффективности операций и принятия более обоснованных решений. Компания занимается управлением операциями, аналитикой для принятия решений и цифровой трансформацией, поддерживая клиентов в сферах здравоохранения, страхования, финансов и логистики. EXL объединяет методы анализа данных с практической экспертизой в бизнесе, разрабатывая решения с учетом целей, операционной модели и отраслевого контекста каждой организации.

Технический руководитель Databricks в EXL — Ченнаи, гибридный формат

Руководите разработкой lakehouse-решений Databricks для платформ по борьбе с финансовыми преступлениями. Создавайте конвейеры Delta Lake и управляйте Unity Catalog в средах разработки, тестирования и эксплуатации.

Описание

  • Создавайте и поддерживайте рабочие пространства Databricks, кластеры и пулы вычислительных ресурсов для сред разработки, тестирования и эксплуатации.
  • Настраивайте управление данными в Unity Catalog, контроль доступа, детализированные разрешения и происхождение данных.
  • Настраивайте типы кластеров, автоматическое масштабирование и узлы с оплатой по факту использования или вытесняемые узлы, чтобы сбалансировать стоимость и производительность.
  • Организуйте структуру рабочих пространств и контроль доступа, управляйте секретами с помощью Databricks Secrets, Azure Key Vault или AWS Secrets Manager.
  • Управляйте заданиями и рабочими процессами Databricks, а также оркестрацией нескольких задач, включая их зависимости.
  • Проектируйте таблицы Delta Lake с секционированием и Z-ordering, уплотняйте файлы с помощью OPTIMIZE и VACUUM.
  • Организуйте озёра структурированных данных по уровням Bronze, Silver и Gold согласно архитектуре Medallion.
  • Разрабатывайте конвейеры Delta Live Tables с декларативным ETL/ELT и встроенными проверками качества данных.
  • Обрабатывайте изменения схем, версии таблиц, перемещение во времени и Change Data Feed для инкрементальной обработки.
  • Создавайте архитектурные шаблоны lakehouse, связывающие Delta Lake с Kafka, ADLS, S3 и GCS.
  • Создавайте конвейеры Databricks для платформ по борьбе с финансовыми преступлениями: AML, KYC, CRA, проверка санкционных списков, мониторинг транзакций, выявление мошенничества и регуляторная отчётность.

Требования

  • Степень бакалавра или магистра в области информатики, информационных технологий, инженерии данных или смежной дисциплине.
  • Не менее 8 лет опыта в инженерии данных или программной инженерии.
  • Не менее 3 лет практического опыта работы с Databricks в производственной среде.
  • Глубокие знания инженерии больших данных, облачных платформ данных и распределённых вычислений.
  • Глубокий практический опыт работы с Databricks Workspaces, Clusters, Jobs, Workflows и Repos.
  • Владение Unity Catalog, включая настройку metastore, управление каталогами, схемами и таблицами, контроль доступа и происхождение данных.
  • Практический опыт разработки и мониторинга конвейеров Delta Live Tables, а также настройки для них требований к качеству данных.
  • Глубокое понимание внутреннего устройства Delta Lake, включая журнал транзакций, гарантии ACID, размещение файлов и методы оптимизации.
  • Опыт работы с Databricks SQL Warehouses, SQL Analytics и разработкой дашбордов.
  • Знание движка Databricks Photon, бессерверных вычислений и методов оптимизации затрат.

Похожие вакансии

Digitide

Технический архитектор

Digitide

Проектируйте ИТ-архитектуры и системы в гибридном формате работы в Бангалоре, Индия.

Открыть
Neuron

Ведущий frontend-разработчик, Angular

Neuron

Развивайте frontend-архитектуру и создавайте решения на Angular для веба и мобильных устройств на платформе Neuron для разрешения запросов с помощью ИИ. Отвечайте за переиспользуемые UI-компоненты, интеграции, производительность и наставничество инженеров.

Открыть
Weekday

Старший руководитель Full-Stack Java-разработки

Weekday

Руководите инженерными командами, создающими масштабируемые сервисы на Java и Spring Boot и современные фронтенд-приложения. Отвечайте за архитектуру, надежность, наставничество и выпуск программных продуктов для заказчика.

Открыть
Citi

Разработчик микросервисов Spring Boot — Пуна, гибридный формат

Citi

Разработка и поддержка приложений Citi для финансовых услуг на основе микросервисов Spring Boot. В задачи входят повышение безопасности приложений, отладка систем и консультирование технологических заинтересованных сторон.

Открыть
AtkinsRéalis

Ведущий инженер по электротехнике, КИПиА и автоматизации в сфере водоснабжения и водоотведения

AtkinsRéalis

Руководите проектированием электротехнических систем для водоочистных сооружений и насосных станций в AtkinsRéalis. Координируйте работу специалистов разных направлений, соблюдение стандартов, проверку проектов и развитие команды инженеров-электриков.

Открыть
Nokia

Ведущий инженер-программист, облачные платформы

Nokia

Развивайте облачную платформу сетевой наблюдаемости MantaRay NM от Nokia, работая с распределёнными системами, Kubernetes и автоматизацией CI/CD. Применяйте инструменты разработки с поддержкой ИИ и автоматизацию для совершенствования процесса создания ПО.

Открыть