Cerebrasは、高性能なモデルの学習と推論に向けたウェハースケールAIハードウェアと統合ソフトウェアを開発しています。同社のウェハースケールエンジンは、CS-3システムとCerebras Inference Cloudを支え、OpenAI API互換のワークフローや、オンプレミス、クラウド、エッジ環境への展開に対応しています。このプラットフォームは、モデルサービング、ファインチューニング、事前学習、リアルタイムAIエージェント、ゲノミクス、創薬、サイバーセキュリティ、エンタープライズ検索などの用途向けに設計されています。Cerebrasは、専門チップ、システム、ソフトウェアを組み合わせ、負荷の高い人工知能ワークロードを構築・運用する組織を支援しており、従業員数は501～1,000人です。
機械学習エンジニア、モデル導入
TransformerモデルをCerebras AIアクセラレータハードウェアに導入し、推論性能を最適化します。MLIRコンパイラパスを開発しながら、モデルの正確性、レイテンシ、スループット、メモリ効率を向上させます。
仕事内容
- アーキテクチャの分析、重みの変換、実行パスの実装、リファレンス実装との結果検証を通じて、新しいモデルを本番環境に導入します。
- MLIR方言、グラフ変換、ロワリングパス、ハードウェア固有のマッピングを用いて、モデルをCerebrasハードウェア向けにロワリングします。
- コンパイラとカーネルの開発を通じて、アテンション、行列乗算、正規化、位置埋め込みなどの演算子をサポートします。
- 演算子融合、テンソルレイアウト、タイリング、メモリ割り当て、データ移動、並列実行を最適化します。
- KVキャッシュ管理、バッチ処理、量子化を調整し、プリフィルとデコードの性能を改善して、レイテンシ、スループット、メモリ使用量を向上させます。
- 数値の不一致を分析し、精度の変更やコンパイラ最適化が精度に与える影響を評価します。
- プロファイラ、実行トレース、ハードウェアカウンタを使用して、計算、メモリ、通信、ランタイムのボトルネックを特定します。
- ハードウェア、コンパイラ、カーネル、ランタイムの各チームと連携し、信頼性の高いモデルサポートと再現可能な性能ベンチマークを提供します。
応募要件
- C++およびPythonによるプログラミングに習熟していること。
- PyTorchまたは同等のフレームワークで機械学習モデルを導入し、デバッグした実務経験。
- MLIRの実務経験があり、方言、リライトパターン、変換パス、ロワリングパイプラインに精通していること。
- 中間表現、データフロー解析、コード生成など、コンパイラの基礎知識。
- Transformerアーキテクチャ、アテンション機構、テンソル演算、数値精度への理解。
- GPUまたはその他のAIアクセラレータ上でワークロードをプロファイリングし、最適化した経験。
- モデルコード、コンパイラ出力、カーネル、ランタイム実行にまたがる正確性と性能の問題を診断できること。
- GQA、スライディングウィンドウアテンション、Mixture-of-Experts、KVキャッシュ、投機的デコードを含む大規模言語モデル推論の経験。
- FP16、BF16、FP8、または低ビット量子化の経験、および精度と性能のトレードオフへの理解。
- アクセラレータカーネルまたはハードウェア固有のコンパイラバックエンドを開発した経験。
- 分散実行、モデル並列化、アクセラレータのメモリ階層に関する知識。
- MLIR、LLVM、推論フレームワーク、または関連するオープンソースプロジェクトへの貢献経験。
福利厚生
- スタートアップのスピード感がある環境で安定して働けます。
- 先進的なAI研究を発表し、オープンソース化する機会があります。
- 世界最速クラスのAIスーパーコンピュータの一つを扱えます。
- 個人の信念を尊重する、率直で非コーポレートな文化があります。
- 継続的な学習、キャリア成長、サポートがあります。
- 公平で多様性のある職場環境です。