TrainAI LLMベンチマーク調査で、Claude Sonnet、GPT、Gemini Proが合成データ生成のリーダーとして評価

TrainAIのLLM合成データ生成調査で、8言語にわたる6つのデータ生成タスクにおいて、代表的な9つの大規模言語モデルのベンチマーク評価を実施（人間の専門家による評価）

英国メイデンヘッド
4/29/2025 9:00:00 AM

TrainAIの最新のLLMベンチマーク調査によると、大規模言語モデル（LLM）と、その文章や会話を生成する能力については、Claude Sonnet、GPT、Gemini Proが上位となっています。

クローズドクエスチョンによってパフォーマンスを評価する典型的な自動LLMベンチマークとは異なり、TrainAIのLLM合成データ生成調査では、人間の専門家がLLMの文章・会話生成能力をテストし、さまざまな言語での一般的な自然言語処理（NLP）スキルを評価しています。

TrainAIのベンチマークプロジェクトでテクニカルソリューションリードを務めるTomáš Burkertは次のように述べています。「この調査を実施した理由は、今日の最先端のLLMを支える大企業で、最新モデルをトレーニングするためのデータが不足している^[1]というレポートを読んだためです。OpenAI、Anthropic、Googleなどの企業は、AIモデルのトレーニングと微調整のために、（人間ではなく）LLM自体によって生成された合成データの使用を検討しています。当社としても、LLMを使用してAIのトレーニングデータや微調整データを生成することによる潜在的な影響を調査したいと考えました」

テストは9つのLLMを対象とし、慎重に選定された表現の異なる8つの言語で、複雑さの異なる6つのデータ生成タスクを実行しました。言語ごとに3人のネイティブスピーカーの言語スペシャリストを割り当て、LLMによって生成された出力を特定の基準（文法や自然さなど）に照らして評価しました。テスト全体で生成された文は38,000にのぼり、さらに115,000の注釈が提出され、世界中の27人のリンギストによって250,000件の5段階評価（1=非常に悪い、5=非常に良い）が提供されました。

RWSのEnterprise Services部門PresidentであるVasagi Kothandapaniは、次のように述べています。「AIは人間向けに構築されているため、LLMのパフォーマンス評価はAIでなく人間が行うことにしました。当社の調査で分かったことは、言語やタスクをまたいだ合成データ生成において、突出して優れたモデルはないということです。ただし、言語能力、指示の遵守、創造性、速度、コストなどの主要な基準で、ほかよりも高いパフォーマンスを発揮したモデルがいくつかありました。この調査によって、特定のAIユースケースまたはアプリケーションに対して複数のLLMの長所と制約を評価することの重要性が裏付けられました。これを行うことで、真の価値を実現し、ビジネスにプラスの影響をもたらすことができるでしょう」

^[1]Villalobos, P.、Ho, A.、Sevilla, J.、Besiroglu, T.、Heim, L.、Hobbhahn, M.（2024年）「Position: Will we run out of data? Limits of LLM scaling based on human-generated data.」機械学習研究の議事録235:49523-49544。参照：proceedings.mlr.press/v235/villalobos24a

編集者の方へ：

TrainAIのLLM合成データ生成調査レポートは、こちらからダウンロードできます。
RWSのTrainAIは、責任あるAIの原則に基づき、あらゆる言語や規模のあらゆる種類のAIデータに対して、完全なエンドツーエンドのデータ収集、注釈検証、生成AIトレーニングおよび微調整サービスを提供しています。

RWSについて

RWSは、テクノロジーと人間の専門知識を活用するコンテンツソリューション企業です。お客様の組織への理解を世界中のあらゆる場所で実現することで、アイデア、データ、コンテンツの価値を高めます。

当社独自のテクノロジーをはじめ、45件以上のAI特許や、専門知識を持つエキスパートにより、アイデアを迅速に市場に投入し、国境や文化を越えて深い関係を築き、自信を持って新しい市場に参入できるよう組織を後押しします。お客様のビジネスをさらに成長させ、さまざまなチャンスを生む世界へと導くのが当社の役割です。

世界のトップブランド100社のうち80社以上がRWSを信頼してイノベーションを推進し、情報に基づいた意思決定を行い、ブランド体験を形成している理由は、まさにここにあります。

5大陸に60か所以上のグローバル拠点を持つ当社のチームは、あらゆる業界の企業と提携を結んでいます。1958年の設立当初よりイノベーションとともに歩んできたRWSは、英国に本社を置き、AIM、ロンドン証券取引所規制市場に上場しています（RWS.L）。

詳しくはこちらをご覧ください：rws.com/jp