Reality Defender (YC W22)
Reality Defender (YC W22)
Reality Defender розробляє інструменти на основі штучного інтелекту, які допомагають компаніям, державним органам і цифровим платформам виявляти синтетичні медіа. Платформа аналізує аудіо, відео, зображення та текст на ознаки генерації ШІ й допомагає командам у сферах медіа, фінансів і державного управління протидіяти таким ризикам, як шахрайство та дезінформація. Завдяки використанню кількох моделей компанія оцінює контент імовірнісно, не покладаючись на водяні знаки чи попередню автентифікацію.

Провідний інженер платформи даних

Керуйте платформою даних на базі Databricks для досліджень із виявлення дипфейків у Reality Defender. Створюйте відтворювані мультимодальні набори даних і масштабовані конвеєри генерації синтетичних даних.

Опис

  • Керуйте всією платформою даних для досліджень у сфері ШІ: від безперервного збору й попередньої обробки до управління та експорту великих обсягів зображень, відео, аудіо й тексту.
  • Розвивайте та масштабуйте lakehouse на Databricks і стек розподіленої обробки.
  • Визначайте архітектуру та ухвалюйте рішення щодо розробки або придбання рішень зі зростанням обсягів даних.
  • Створюйте багаторазову інфраструктуру для внутрішньої генерації синтетичних даних у різних модальностях.
  • Запровадьте версіонування наборів даних, відстеження походження, метадані, перевірки якості та узгоджені поділи для навчання й оцінювання.
  • Відповідайте за надійність конвеєрів, спостережуваність і вартість обробки кожного набору даних.
  • Співпрацюйте з дослідниками машинного навчання над інструментами самообслуговування, що пришвидшують розробку моделей.
  • Наставляйте інженерів і вдосконалюйте перевірку коду, тестування, документацію та операційні інструкції.
  • Координуйте з командами безпеки та відповідності вимогам обробку даних, ліцензування й контроль доступу.
  • Визначайте довгострокову дорожню карту платформи даних разом із керівниками інженерних і дослідницьких команд.
  • Підпорядковуйтеся директору з даних.
  • Протягом перших 12 місяців очоліть зрілу платформу самообслуговування, розширте генерацію синтетичних даних, надайте відтворювані набори даних для оцінювання та реалізуйте важливі ініціативи дорожньої карти з високим впливом.

Вимоги

  • Щонайменше 8 років досвіду побудови платформ даних або інфраструктури, зокрема відповідальності на рівні провідного фахівця чи керівника за виробничі конвеєри, що генерують, приймають або передають великі обсяги даних.
  • Значний практичний досвід роботи з інструментами розподіленої обробки, як-от Spark або Ray, і платформами lakehouse, бажано Databricks, з хмарними об’єктними сховищами, такими як S3, GCS чи Azure Blob.
  • Досвід експлуатації Databricks, Unity Catalog, Delta Lake і Spark на AWS, зокрема налаштування продуктивності, контролю доступу та усунення операційних проблем.
  • Досвід роботи з великими обсягами неструктурованих медіаданих, зокрема відео, аудіо чи зображеннями, включно з великими файлами, декодуванням, транскодуванням і масштабною обробкою метаданих.
  • Доведений досвід створення відтворюваних наборів даних для машинного навчання за допомогою версіонування, відстеження походження, перевірки якості даних та оркестрації такими інструментами, як Airflow, Dagster або Databricks Workflows.
  • Впевнене володіння Python і SQL.
  • Зважене судження та здатність самостійно доводити неоднозначні завдання з платформи від початку до кінця в невеликій команді.
  • Досвід автоматизації інфраструктури й розгортань за допомогою Terraform і CI/CD, включно зі сховищами AWS, IAM, обчислювальними ресурсами, ресурсами Databricks і середовищами розподіленої обробки.
  • Досвід розробки конвеєрів генерації синтетичних даних або масштабного запуску генеративних моделей буде перевагою.
  • Досвід підтримки дослідницьких команд машинного навчання даними для навчання й оцінювання, особливо для мультимодальних моделей, буде перевагою.
  • Досвід у сфері безпеки, шахрайства, довіри та безпеки користувачів, іншій протиборчій галузі або в стартапі серії A чи B буде перевагою.
  • У заявці запитується дозвіл на роботу у США.
  • Готовність переїхати, якщо ви зараз не мешкаєте в Нью-Йорку або поблизу нього; це залежить від формату роботи.

Переваги

  • Медичні страхові внески працівника повністю покриваються; для утриманців доступне часткове покриття.
  • Страхові внески працівника та утриманців на стоматологічне страхування й страхування зору повністю покриваються.
  • Страхові внески працівника на короткострокове й довгострокове страхування на випадок непрацездатності та страхування життя повністю покриваються.
  • Рахунки гнучких витрат і медичних заощаджень, а також програма 401(k).
  • Компенсація у вигляді частки власності.
  • 20 днів оплачуваної відпустки щороку.
  • 12 тижнів відпустки для догляду за дитиною.
  • Бюджет на навчання та професійний розвиток.
  • Щомісячні пільги для підтримки добробуту.
  • Щорічний корпоративний виїзд коштом компанії.
  • Щоденний офісний обід через Uber Eats для працівників штаб-квартири в Нью-Йорку.
  • Пільги на проїзд для працівників штаб-квартири в Нью-Йорку.
  • Віддалена робота щоп’ятниці для працівників штаб-квартири в Нью-Йорку.
  • Щасливі години та інші місцеві заходи для працівників штаб-квартири в Нью-Йорку.
  • Можливість отримати щорічну премію за результатами роботи.

Схожі вакансії

Public Partnerships | PPL

Головний архітектор даних Databricks і Azure

Public Partnerships | PPL

Керуйте проєктуванням керованих аналітичних платформ на Databricks і Azure для фінансового адміністрування програм Medicaid. Розвивайте можливості керування основними даними, зіставляйте ідентичності учасників і надавачів послуг та створюйте відповідні вимогам продукти даних у масштабах усієї країни.

Відкрити
L3Harris Technologies

Головний архітектор даних, Palantir

L3Harris Technologies

Керуйте розробленням онтології, інтеграцією та управлінням даними в межах корпоративної програми L3Harris Technologies на платформі Palantir для роботи з даними й ШІ. Формуйте єдину архітектуру даних, що охоплює близько 100 застарілих систем.

Відкрити
Sony Interactive Entertainment

Провідний інженер-програміст даних, Sony Interactive Entertainment (дистанційно, США)

Sony Interactive Entertainment

Створюйте платформи аналітики реального часу для PlayStation. Керуйте розподіленою архітектурою даних, потоковою інфраструктурою та інструментами ШІ, що підвищують ефективність розробки.

Відкрити
GameChanger

Провідний інженер даних

GameChanger
51 – 200 Працівники
SaaSМедіаСпорт

Визначайте технічний напрям і створюйте платформи даних із підтримкою ШІ для аналітики та продуктів GameChanger — компанії у сфері технологій для юнацького спорту.

Відкрити
Robots & Pencils

Головний архітектор даних (віддалено, Канада)

Robots & Pencils
51 – 200 Працівники
B2BSaaSШтучний інтелект

Визначайте архітектурний напрям для корпоративних систем ШІ в Robots & Pencils, створюючи масштабовані платформи з належним управлінням. Консультуйте клієнтів і наставляйте старші технічні команди.

Відкрити