AI品質評価エンジニア

この求人について

Woven City部門で、LLMを用いたAIプロダクトの品質評価を担当します。専任QAエンジニアとして、AI出力の不確実性や正解が一意でない特性を踏まえ、品質を継続的に改善できる評価の仕組みを整備します。勤務形態はハイブリッドで、月数回のWoven Cityへの出張があります。

品質の観点として、正確性、一貫性、安全性、公平性、UXなどを整理し、シナリオテスト、探索的テスト、レッドチーミングを実施します。LLM出力の傾向や失敗パターンを分析し、ログ・評価結果・問い合わせなどのユーザーフィードバックを用いて評価方法を設計します。評価プロセスの標準化と再利用可能な形での整理、可能な範囲での自動化、評価データの収集・集計、定常的な品質チェックの仕組み化も行います。開発、MLOps、データエンジニアと協力してフィードバックループを構築・運用し、品質課題やリスクを文書化して共有します。

必須条件は、LLMを用いたプロダクトのQA・テスト実務経験3年以上、テスト設計経験、曖昧な仕様を評価する判断力、テストまたは評価プロセスの自動化経験、開発チームと品質改善に取り組んだ経験です。ビジネスレベルの英語力と日本語力も求められます。シナリオテスト、レッドチーミング、ログやユーザーフィードバックの分析、自然言語処理の基礎知識が歓迎されます。正社員として東京都中央区に勤務します。フレキシブルな勤務時間、土日祝日等の休日、年次有給休暇、私傷病休暇、社会保険、住宅手当、退職金制度、社内研修制度などがあります。