Reality Defender (YC W22)

11 – 50 従業員

Reality Defenderは、企業、政府、デジタルプラットフォームが合成メディアを識別するためのAI搭載ツールを開発しています。同社の検出プラットフォームは音声、動画、画像、テキストを分析し、AI生成の兆候を調べます。メディア、金融、政府分野のチームが、詐欺や偽情報などのリスクに対処できるよう支援します。複数のモデルを用いてコンテンツを確率的に評価し、電子透かしや事前認証には依存しません。

企業の求人

データプラットフォーム主任エンジニア

Reality Defender のディープフェイク検出研究を支える Databricks データプラットフォームを主導します。再現可能なマルチモーダルデータセットと、拡張性の高い合成データ生成パイプラインを構築します。

3 週間前

アメリカ合衆国

ニューヨーク州

$210,000 – $260,000 / 年

リモートフルタイムリード必須言語：英語データエンジニア

Airflow AWS Azure Python Ray Spark SQL Terraform Unity クラウド

仕事内容

AI研究向けのデータプラットフォーム全体を主導します。継続的な取り込みと前処理から、大量の画像、動画、音声、テキストデータのガバナンスとエクスポートまでを担います。
Databricks lakehouse と分散処理スタックを拡張し、スケールさせます。
データ量の増加に応じて、アーキテクチャと内製・購入の判断を導きます。
複数のモダリティにわたる合成データを社内で生成するための再利用可能な基盤を開発します。
データセットのバージョン管理、リネージ、メタデータ、品質チェック、統一された学習用・評価用データの分割方法を整備します。
パイプラインの信頼性、可観測性、データセットごとの処理コストに責任を持ちます。
ML研究者と協力し、モデル開発を加速するセルフサービスツールを構築します。
エンジニアを指導し、コードレビュー、テスト、ドキュメント、運用手順書を強化します。
セキュリティおよびコンプライアンスチームと連携し、データの取り扱い、ライセンス、アクセス制御を調整します。
エンジニアリングおよび研究のリーダーとともに、データプラットフォームの長期ロードマップを策定します。
データ部門ディレクターに報告します。
入社後 12 か月以内に、成熟したセルフサービスプラットフォームを主導し、合成データ生成を拡張し、再現可能な評価データセットを提供するとともに、影響力の大きいロードマップ施策を推進します。

応募要件

データプラットフォームまたはインフラの構築経験が 8 年以上あり、大量データを生成、取り込み、配信する本番パイプラインを、主任またはリード相当の立場で担当した経験があること。
Spark や Ray などの分散処理ツール、および lakehouse プラットフォームの豊富な実務経験。Databricks の経験が望ましく、S3、GCS、Azure Blob などのクラウドオブジェクトストレージの使用経験があること。
Databricks、Unity Catalog、Delta Lake、および AWS 上の Spark の本番運用経験があり、パフォーマンス調整、アクセス制御、運用上のトラブルシューティングができること。
動画、音声、画像などの大規模な非構造化メディアの取り扱い経験があり、大容量ファイル、デコード、トランスコード、大規模なメタデータ処理に対応できること。
バージョン管理、リネージ、データ品質検証、および Airflow、Dagster、Databricks Workflows などを使ったオーケストレーションにより、再現可能な ML データセットを作成した実績があること。
Python と SQL の優れたスキル。
判断力があり、少人数のチームで曖昧なプラットフォーム課題を最初から最後まで主体的に担当できること。
Terraform と CI/CD を使ったインフラおよびデプロイの自動化経験があり、AWS ストレージ、IAM、コンピューティング、Databricks リソース、分散処理環境を扱った経験があること。
合成データ生成パイプラインの開発経験、または生成モデルの大規模運用経験があれば尚可。
ML研究チームの学習用・評価用データを支援した経験があれば尚可。特にマルチモーダルモデルの経験を歓迎します。
セキュリティ、不正対策、トラスト＆セーフティ、その他の敵対的な領域、またはシリーズ A・B のスタートアップでの経験があれば尚可。
応募時に米国で働くための就労資格が求められます。
現在ニューヨーク市内または近郊に住んでいない場合、勤務形態に応じて転居する意思があること。