LogoFresh Jobs Ahead
Reality Defender (YC W22)
Reality Defender (YC W22)
11 – 50 Сотрудники
БезопасностьИскусственный интеллектМедиа
Reality Defender разрабатывает инструменты на базе искусственного интеллекта, которые помогают компаниям, государственным органам и цифровым платформам выявлять синтетические медиа. Платформа анализирует аудио, видео, изображения и текст на признаки генерации ИИ и помогает командам в сфере СМИ, финансов и государственного управления противодействовать таким рискам, как мошенничество и дезинформация. Благодаря использованию нескольких моделей компания оценивает контент вероятностно, не полагаясь на водяные знаки или предварительную аутентификацию.
LinkedIn
Вакансии компании

Ведущий инженер платформы данных

Руководите платформой данных на базе Databricks для исследований по выявлению дипфейков в Reality Defender. Создавайте воспроизводимые мультимодальные наборы данных и масштабируемые конвейеры генерации синтетических данных.

USСоединенные ШтатыNYНью-Йорк
210 000 $ – 260 000 $ / год
УдалённоПолная занятостьВедущий специалистТребуемый Язык: английскийИнженер по данным
AirflowAWSAzurePythonRaySparkSQLTerraformUnityОблако

Описание

  • Руководите всей платформой данных для исследований в области ИИ: от непрерывного сбора и предварительной обработки до управления и экспорта больших объемов данных изображений, видео, аудио и текста.
  • Развивайте и масштабируйте lakehouse на Databricks и стек распределенной обработки.
  • Определяйте архитектуру и принимайте решения о разработке или покупке решений по мере роста объемов данных.
  • Создавайте повторно используемую инфраструктуру для внутренней генерации синтетических данных в разных модальностях.
  • Внедрите версионирование наборов данных, отслеживание происхождения, метаданные, проверки качества, а также согласованные разделения для обучения и оценки.
  • Отвечайте за надежность конвейеров, наблюдаемость и стоимость обработки каждого набора данных.
  • Работайте с исследователями машинного обучения над созданием инструментов самообслуживания, ускоряющих разработку моделей.
  • Наставляйте инженеров и совершенствуйте проверку кода, тестирование, документацию и эксплуатационные инструкции.
  • Координируйте с командами безопасности и соответствия требованиям обработку данных, лицензирование и контроль доступа.
  • Определяйте долгосрочную дорожную карту платформы данных совместно с руководителями инженерных и исследовательских команд.
  • Подчиняйтесь директору по данным.
  • В течение первых 12 месяцев возглавьте зрелую платформу самообслуживания, расширьте генерацию синтетических данных, подготовьте воспроизводимые наборы данных для оценки и реализуйте важные инициативы дорожной карты с высоким эффектом.

Требования

  • Не менее 8 лет опыта создания платформ данных или инфраструктуры, включая ответственность на уровне ведущего специалиста или руководителя за производственные конвейеры, генерирующие, принимающие или передающие большие объемы данных.
  • Обширный практический опыт работы с инструментами распределенной обработки, такими как Spark или Ray, и платформами lakehouse, желательно Databricks, с облачными объектными хранилищами, такими как S3, GCS или Azure Blob.
  • Опыт эксплуатации Databricks, Unity Catalog, Delta Lake и Spark на AWS, включая настройку производительности, контроль доступа и устранение эксплуатационных проблем.
  • Опыт работы с большими объемами неструктурированных медиафайлов, таких как видео, аудио или изображения, включая крупные файлы, декодирование, транскодирование и масштабную обработку метаданных.
  • Подтвержденный опыт подготовки воспроизводимых наборов данных для машинного обучения с использованием версионирования, отслеживания происхождения, проверки качества данных и оркестрации такими инструментами, как Airflow, Dagster или Databricks Workflows.
  • Уверенное владение Python и SQL.
  • Здравое суждение и способность самостоятельно вести неоднозначные задачи по платформе от начала до конца в небольшой команде.
  • Опыт автоматизации инфраструктуры и развертываний с помощью Terraform и CI/CD, включая хранилища AWS, IAM, вычислительные ресурсы, ресурсы Databricks и среды распределенной обработки.
  • Опыт разработки конвейеров генерации синтетических данных или масштабного запуска генеративных моделей будет преимуществом.
  • Опыт поддержки исследовательских команд машинного обучения данными для обучения и оценки, особенно для мультимодальных моделей, будет преимуществом.
  • Опыт в сфере безопасности, мошенничества, доверия и безопасности пользователей, другой противоборствующей области или в стартапе серии A или B будет преимуществом.
  • В заявке запрашивается разрешение на работу в США.
  • Готовность переехать, если вы сейчас не живете в Нью-Йорке или рядом с ним; это зависит от формата работы.

Преимущества

  • Работодатель полностью оплачивает медицинскую страховку сотрудника; для иждивенцев доступно частичное покрытие.
  • Работодатель полностью оплачивает стоматологическую страховку и страховку зрения для сотрудника и иждивенцев.
  • Работодатель полностью оплачивает страховые взносы по краткосрочному и долгосрочному страхованию на случай нетрудоспособности, а также страхованию жизни сотрудника.
  • Счета гибких расходов и медицинских сбережений, а также программа 401(k).
  • Компенсация в виде долевого участия.
  • 20 дней оплачиваемого отпуска в год.
  • 12 недель отпуска по уходу за ребенком.
  • Бюджет на обучение и профессиональное развитие.
  • Ежемесячные льготы для поддержания хорошего самочувствия.
  • Ежегодный выездной корпоратив за счет компании.
  • Ежедневный офисный обед через Uber Eats для сотрудников штаб-квартиры в Нью-Йорке.
  • Льготы на проезд для сотрудников штаб-квартиры в Нью-Йорке.
  • Удаленная работа по пятницам для сотрудников штаб-квартиры в Нью-Йорке.
  • Вечеринки и другие местные мероприятия для сотрудников штаб-квартиры в Нью-Йорке.
  • Возможность получить ежегодную премию по результатам работы.

Похожие вакансии

Public Partnerships | PPL

Главный архитектор данных Databricks и Azure

Public Partnerships | PPL
1 001 – 5 000 Сотрудники
Спонсор визы H1BB2BМедицинское страхование
USСоединенные Штаты
162 500 $ – 214 000 $ / год
УдалённоПолная занятостьВедущий специалистТребуемый Язык: английскийИнженер по данным
ApacheAzurePythonSparkSQLUnityОблако

Руководите проектированием управляемых аналитических платформ на Databricks и Azure для финансового управления программами Medicaid. Создавайте возможности управления мастер-данными, сопоставляйте идентичности участников и поставщиков услуг и поставляйте соответствующие требованиям продукты данных в масштабах всей страны.

Открыть
L3Harris Technologies

Главный архитектор данных, Palantir

L3Harris Technologies
Спонсор визы H1BКонсалтингЛогистикаПроизводство
USСоединенные ШтатыFLФлоридаNYНью-ЙоркUTЮта
165 500 $ – 354 500 $ / год
УдалённоПолная занятостьВедущий специалистТребуемый Язык: английскийИнженер по данным
ERP

Руководите разработкой онтологии, интеграцией и управлением данными в рамках корпоративной программы L3Harris Technologies на платформе Palantir для работы с данными и ИИ. Формируйте единую архитектуру данных, объединяющую около 100 устаревших систем.

Открыть
Sony Interactive Entertainment

Ведущий инженер-программист данных, Sony Interactive Entertainment (удалённо, США)

Sony Interactive Entertainment
Спонсор визы H1BАппаратное обеспечениеИгрыТелекоммуникации
USСоединенные Штаты
198 200 $ – 297 400 $ / год
УдалённоПолная занятостьВедущий специалистТребуемый Язык: английскийИнженер по данным
ApacheAWSKafkaPythonScalaSparkРаспределённые системы

Создавайте платформы аналитики реального времени для PlayStation. Руководите распределённой архитектурой данных, потоковой инфраструктурой и ИИ-инструментами, повышающими эффективность разработки.

Открыть
GameChanger

Ведущий инженер данных

GameChanger
51 – 200 Сотрудники
SaaSМедиаСпорт
USСоединенные Штаты
170 000 $ – 185 000 $ / год
УдалённоПолная занятостьВедущий специалистТребуемый Язык: английскийИнженер по данным
AirflowAWSAzureBigQueryKafkaKubernetesPythonSQLTerraformОблако

Определяйте техническое направление и создавайте платформы данных с поддержкой ИИ для аналитики и продуктов GameChanger — компании в сфере технологий для юношеского спорта.

Открыть
Robots & Pencils

Ведущий архитектор данных (удалённо, Канада)

Robots & Pencils
51 – 200 Сотрудники
B2BSaaSИскусственный интеллект
CAКанадаUSСоединенные Штаты
170 000 $ – 240 000 $ / год
УдалённоПолная занятостьВедущий специалистТребуемый Язык: английскийИнженер по данным
Vault

Определяйте архитектуру данных для корпоративных ИИ-систем в Robots & Pencils, создавая масштабируемые платформы с эффективным управлением. Консультируйте клиентов и наставляйте старшие технические команды.

Открыть