AI評価サイエンティスト

この求人について

JAPAN AIの企業向けAIエージェント製品であるJAPAN AI AGENT、CHAT、SPEECHを対象に、AI出力の品質・安全性・信頼性を科学的に評価する基盤の設計、構築、運用を担います。LLM-as-Judgeのキャリブレーション、ルーブリック設計、バイアス検出、適切なスコアリング手法、reward modelingやpreference learningの活用を研究します。タスク成功率、factuality、harm detection、win rateなどの評価指標を設計し、合成データと実運用ログを用いた評価セットやベンチマークを構築・検証します。複数ターン、ツール利用、長文コンテキストに対応する評価ハーネスと、再現性・信頼性を備えた自動評価パイプラインを開発し、CI/CDへ統合して品質ゲートを整備します。自動レッドチーム、敵対的テスト、ポリシー遵守検証、ハルシネーション検知、プロンプトやツールの回帰テストも担当します。A/Bテストや有意差検定などの統計的実験を設計・分析し、品質傾向の可視化、回帰検知、品質レポート作成、研究開発チームへの改善提案につなげます。約200社が利用する製品の品質向上に向け、Agentic Product Engineer、Research Engineer、Agent Harness Engineer、AI Platformのソフトウェアエンジニア、Product Managerと連携します。PythonでのML・評価パイプライン開発、PyTorch・JAX・TensorFlowなどの機械学習フレームワーク、LLM・生成AI評価、統計・実験設計に関する実務知識が必要です。関連分野の修士以上または同等の実務経験と、ML Engineer、Data Scientist、Research Engineer、ML/AI評価関連職などで3年以上の実務経験を求めます。日本語の流暢さ、またはビジネスレベルの英語が必要です。NeurIPS、ICML、ICLR、ACL、EMNLPなどでの発表、AI safety、Responsible AI、Kubernetes、Spark、BigQuery、CI/CD統合の経験は歓迎されます。技術環境はPython、TypeScript、React、Next.js、pytest、LangSmith、Weights & Biases、BigQuery、Spark、Pandas、GCP、Kubernetes、Docker、Terraform、GitHub Actionsなどです。正社員で、想定年収は800万円～1,600万円、勤務地は東京都新宿区です。ハイブリッド勤務で、週3日出社・週2日リモート、コアタイムは相談可能です。書籍購入、AIツール、資格・語学学習、リフレッシュ、指定地域の家賃などの支援制度があります。