LLM開発担当リサーチエンジニア

Sakana AIが開発するSakana Namazuなどの大規模言語モデルを対象とする、Member of Technical Staffの募集です。役割はResearch Engineerに相当し、同社のプロダクトやソリューションの基盤となるLLMと、RSI研究を支える技術の開発に携わります。

担当チームの対象範囲は、事前学習、中間学習、事後学習、評価までのLLM開発全体です。モデルアーキテクチャの改良、学習データの作成と改善、小規模な実験によるスケーリング則や不確実性の推定、大規模な学習への展開、学習効率の最適化などを進めます。候補者は能力ドメインや技術要素などから少なくとも一つの領域を受け持ち、その領域の取り組みを主体的にリードし、最終モデルと開発プロセスへの影響にも責任を持ちます。

能力ドメインを担当する場合は、ベンチマークの選定または構築による目標設定、目標に沿った学習データの準備、小規模モデルを使ったデータや学習手法の検証・改善を行います。対象となるデータにはagentic中間学習、SFT、RL向けのものが含まれます。その後、得られたデータや学習レシピを大規模モデルに適用し、目標への到達度を確認しながら必要な修正を加えます。曖昧な課題を検証可能な仮説に分け、実装、実験、検証、改善を繰り返して成果につなげる進め方です。

必須条件は、修士同等の学歴または相当する経験、機械学習・深層学習分野での実務経験2年以上または同等の経験です。複数人が利用する計算環境で、複数GPUを使う機械学習ジョブを設計・実行・デバッグした経験も必要です。さらに、曖昧な問題を検証可能な仮説へ分解し、意思決定に結び付く実験を設計できること、新しい知識や技術を素早く習得できることが求められます。日本語はビジネスレベルが要件として記載されています。

歓迎される経験には、学習データの収集、選別、配合、品質評価を通じてモデル性能を高めた経験、実利用されるLLMの学習に携わり品質を担った経験があります。統計的な観点で実験を設計・評価し、ノイズや不確実性を含む結果から再現可能な知見を導いた経験も対象です。加えて、コンピュータアーキテクチャや高性能計算への理解、FLOPs、メモリ帯域、並列性、通信コストを踏まえた機械学習システム性能の議論、機械学習またはLLM分野での論文発表、広く利用される機械学習系OSSへの貢献が歓迎されます。

勤務地は東京で、出社とリモートを組み合わせたハイブリッド勤務です。応募時には英文のCVとカバーレターを提出し、Google FormでMember of Technical Staff (LLM Development)を選択してください。カバーレターにも応募職種を明記します。記載された条件をすべて満たしていない場合でも応募可能で、LLM以外の領域における同等の経験も評価対象とされています。