AIハードウェア ランタイムエンジニア
Normal Computingのメモリ中心型AIハードウェア向けにランタイムソフトウェアを設計します。 アーキテクチャ、ハードウェア抽象化、LLM推論性能を主導します。
仕事内容
- デバイス管理、メモリ割り当て、ホストとデバイス間の転送、実行可能ファイルのロード、コマンド投入にわたるランタイムアーキテクチャを主導します。
- シリコンが利用可能になる前に、一貫したインターフェースを通じてシミュレーターやFPGAプロトタイプ向けのランタイムを開発します。
- シミュレーター、FPGAプロトタイプ、シリコン、および将来世代のハードウェアの違いを抽象化します。
- リクエスト間で常駐させるモデル重みを含め、ハードウェア上に保存されるデバイス状態を管理します。
- LLM推論のクリティカルパスにおけるランタイムのオーバーヘッドを削減し、エンドツーエンドのレイテンシとスループットを改善します。
- コンパイラー、ドライバー、ファームウェア各コンポーネントとのインターフェースを定義します。
- ランタイムの技術的な方向性を導き、それに依存する設計をレビューします。
- コンパイラーおよびサービングのエンジニアと協力し、効果的なインターフェースを形作ります。
応募要件
- アクセラレーターなどの専用ハードウェア向けに、ランタイム、ドライバー、またはハードウェア抽象化レイヤーを開発した経験。
- メモリ管理、並行処理、低レベルの性能最適化を含む、C++またはRustによる優れたシステムプログラミング能力。
- 複雑なシステムコンポーネントを設計から本番環境まで一貫して担当した実績。
- チーム横断で技術的な意思決定を主導した経験。
- LLM推論のワークロードとランタイム要件への理解。
- シミュレーションからハードウェアの立ち上げまで、変化するハードウェア向けのソフトウェア開発に対応できること。
- 歓迎条件：IREEのHALなどのオープンなランタイム設計、またはCUDAやROCmのランタイム内部への知識。
- 歓迎条件：インメモリコンピューティングやその他の非ノイマン型ハードウェアの経験。
- 歓迎条件：vLLMなどの推論サーバーにランタイムを統合した経験。
- 歓迎条件：オープンソースのランタイムまたはシステム基盤への貢献。
福利厚生
- 株式報酬。
- 業績に基づくインセンティブ。
- 包括的な報酬パッケージ。
- 従業員のウェルビーイングと専門的な成長を支援する福利厚生。
- 競争力があり、公平な報酬。
- 障害のある従業員への合理的配慮。
