AI品質・評価エンジニア

この求人について

Woven Cityに関わるAIプロダクトで、QA主導の品質評価基盤を立ち上げるポジションです。LLMベースのシステムに特有の不確実性や非決定性を踏まえ、正確性、一貫性、安全性、公平性、UXなどの品質観点を定義します。シナリオベーステスト、探索的テスト、レッドチームを実施し、LLMの出力を分析して行動傾向や失敗パターンを特定します。ログ、評価、問い合わせなどのユーザーフィードバックを品質評価に取り込み、評価手順を標準化・再利用可能な形に整理します。評価データの収集・集約、定期的な品質チェック、自動化された評価ワークフローを設計し、開発チーム、MLOps、データエンジニアリングチームと連携して、継続的な品質フィードバックループを構築・運用します。実ユーザーからのフィードバックが限られる段階でも、実用的な評価の仕組みを立ち上げ、品質上の課題やリスクを文書化して関係チームへ明確に伝えます。LLMを利用したプロダクトのQAまたはテスト経験が3年以上あり、テスト観点の定義やテストケース作成を含むテスト設計の経験が必要です。仕様が曖昧で、唯一の正解が存在しないシステムを評価できることが求められます。Function Leaderにレポートし、ハイブリッド勤務に対応しています。Woven Cityへの出張が月に数回あります。勤務地は東京都です。