AIの点数は、仕事を測れているか。Mercorが示す評価の空白

2026/10/17#AI#未来の仕事#AI評価#業務改革

AIの新モデルが出るたび、得点表が並ぶ。だが、その数字は私たちの仕事のどこを測っているのか。人材・AI評価を手がける米Mercorが公開した「Benchmark Map」は、モデルの性能競争そのものより、評価の地図に残る空白を可視化した。

同社の推計では、米国の労働時間の約90％は、調査対象のAIベンチマークで十分に扱われていない作業に費やされている。これは「AIは仕事の9割ができない」という意味ではない。能力を判断するための試験問題が、実際の仕事を十分に代表していないという指摘だ。

仕事を「職業」ではなく「作業」に分ける

Mercorは米労働省の職業情報データベースO*NETにある923職種、計18,797の作業を土台にした。これに、現実の企業業務に近いと判断した29種類のAIベンチマークの設問を対応づける。一つの作業に少なくとも5問が対応した場合を「カバー」と数えた。

その条件では、対象になった作業は924件。少なくとも一つの作業が5問以上で扱われた職種は、923のうち208だった。労働時間の「約90％」は、この対応関係と作業ごとの時間配分の推計を組み合わせた数字である。全米の就業者を直接観察し、AIを使わせて測った結果ではない。

評価が集まりやすいのはソフトウェア開発や金融分析などだ。同じくAIの影響を受けそうな仕事でも、法律事務の補助や裁判所の事務などは薄いという。モデルの得点が高くても、現場で日々生じる確認、調整、例外処理まで得意だとは読み取れない。

この地図には重要な限界がある。Mercorが選んだ29のベンチマークは全体の網羅的な一覧ではない。選定時には分野ごとの件数に上限を置き、すでに高得点が出やすい試験も外した。作業と設問の対応づけにはLLMによる判定を使い、一部を人手の評価と照合している。研究チーム自身も結果を暫定的と位置づけている。

また、評価問題の「カバー」と、実務での成功は別だ。設問で良い答えを出すことと、曖昧な依頼を聞き直し、社内の承認を得て、失敗したときに責任を引き受けることには距離がある。反対に、試験問題が少ない作業でAIが人を助けられないとも言えない。人とAIの共同作業を測る方法は、まだ発展途上だ。

日本の企業が海外のモデルランキングを読むときは、まず自社の業務を細かい作業に分けたい。例えば「経理を自動化する」ではなく、請求書の照合、取引先への確認、例外の承認、監査用の記録をそれぞれ試す。正答率に加え、修正に要した時間、見逃した例外、情報管理上の負荷まで測る。

Mercorの数字を日本の労働市場へそのまま当てはめることはできない。それでも、能力表を導入効果の予測として読む前に、その試験が自分たちの仕事を載せているかを確かめる視点は有効だ。AIの進歩を正しく知るには、モデルだけでなく、測り方も進化させなければならない。

出典：Mercor「A benchmark map of the US economy」、Hacker Newsでの議論。内容は2026年10月18日時点の公開情報に基づく。