APIでAIの可視性を測る
──それは「まったくの誤り」

APIを使って一括呼び出しでAIの回答を収集する手法は、ここ数年、多くのGEO（Generative Engine Optimization）計測ツールや調査手法が選んできたやり方である。効率が良く、再現性が高く、スクリプト化しやすい——商業的な計測という観点からは、魅力的な手段に見える。しかし、相手が本質的にブラックボックスであるAIだとすれば、そのブラックボックスを測るための「ものさし」自体が正確かどうかを、まず問うべきではないだろうか。

8月初に公開したMonthly Report #000では、こんな数字を記録した。「京都 着物レンタル おすすめ」という日本語の質問に対して、ChatGPTウェブ版が示した引用元のうち、9割が単一のアフィリエイト（成果報酬型広告）サイトからだった。少なくともその時点では、この数字はこう物語っていたと言えるだろう——AIがどの店を推薦するかを決めるのは、店そのものの良し悪しよりも、その店を紹介記事に載せてくれるアフィリエイトサイトがあるかどうか、と。

では、ChatGPTの製品画面ではなく、その裏側にあるAPIに対してまったく同じ質問を投げたら、同じ結果が得られるのだろうか。

答えはノーである。しかも、それはビジネス戦略上の違いにまで発展する。

同じ問いかけ、まったく異なる2つの経路

設計はシンプルだ。Monthly Report #000で使った質問文をそのまま流用する。一方はウェブ版（Phase 0で取得済みのデータ、2026年7月21日実行、n=20）、もう一方はAPI（gpt-5.5、web_searchツールを有効化、システムプロンプトなし、2026年7月26日実行、n=20、2ラウンド実施）。

ウェブ版の結果はすでに公開している。単一のアフィリエイトサイトが引用の9割を占め、「メディア／アフィリエイト」というカテゴリ全体でも53.7%を占めていた。

API版の結果は、まったく別の顔ぶれとなった。

ウェブ版で引用の9割を占めていたあのアフィリエイトサイトは、API側で実施した2ラウンド・合計20回のうち、出現回数がゼロだった。順位が低いのではない。API側の検索結果に、そもそも一度も引っかかっていない——2ラウンド分の生JSONをすべて検索して確認済みである。

代わりに上位に来たのは、各店舗自身の公式サイトだった。

サンプリングの誤差ではなく、2つの異なる「探し方」

順位の入れ替わりだけを見れば、ノイズではないかと疑いたくなるかもしれない。実際、API内部のv1とv2の2ラウンド間（同日・同一モデル・同一の質問）でも、上位ドメインの出現率には15〜25ポイントの振れがあることを自ら記録している。つまりAPI側の回答にも独自のゆらぎ幅があり、1回実行しただけで結論を出せるものではない。

しかし今回の違いは、単なる振れではなかった。カテゴリそのものが丸ごと入れ替わっていたのである——「アフィリエイト型の比較サイト」から「ブランド公式サイト」へ。この構造は、API側の2ラウンドいずれでも安定して再現されていた。

本当に問題を説明しているのは、v2で記録したAPI内部の呼び出しの詳細である。ChatGPTのweb_searchツールは、1回の質問に答えるまでに平均5〜6回、多いときは8回もの連続動作（search→open_page→find_in_page……）を発生させていた。しかも最初のsearchは、ユーザーの原文をそのまま検索にかけるのではなく、より具体的な検索語へと自動的に展開する。たとえば「京都 着物レンタル おすすめ」という原文に対して、「公式」「料金」「口コミ」「2026」といった語を自動で付け加え、さらにはsite:構文を使って特定の店の公式ドメインに検索範囲を絞り込むことすらあった。

つまりAPI側の検索挙動は、「足で稼ぐ」調査員に近い。まず候補となる店名を数件絞り込み、その一軒一軒の公式サイトを開いて料金やプランを確かめていく。この「一店ずつ公式サイトで裏を取る」という探索経路は、構造的にブランド公式ページを拾いやすく、何十店舗もの店を1本の記事にまとめたアフィリエイト型の比較サイトを拾いにくい。

ウェブ版（ChatGPTの製品そのもの）が内部でどう検索を展開しているかは、見えない——この部分は非公開になっている。したがってここで確認できるのは、「少なくともAPI側で観測された挙動が、引用元の全面的な入れ替わりを説明できる」という点までであり、「ウェブ版が同様の展開を行っていない」ことの証明にはならない。この非対称性は、今回の調査では解消できず、また解消しようのない方法論上の限界である。

こう考えているのは、ここだけではない

方向性の一致する独立した検証が、すでにいくつも存在する。しかも時系列がきれいにつながっている——2026年上半期に、それぞれ独立してほぼ相次いで現れたのだ。

2026年2月3日、SEOツールを手がけるSurfer社が、1000件規模の質問を対象にした比較実験を公開した。同じ質問に対してAPIと「ウェブ版で実際に表示される結果をスクレイピングしたもの」の両方でChatGPTの回答を収集し、推薦されるブランドの重なりはわずか24%、引用元の重なりに至ってはさらに低い4%という結果を得た。同社の結論は率直そのものである——「APIレスポンスをAI可視性（AI Visibility）の代替指標として監視するのは、まったくの誤りだ」。

その3日後、2026年2月6日には、AI検索最適化サービスを手がける別のチーム、Luxeo Teamが独自に類似の実験を発表した。こちらもAPIとウェブ版・アプリ版の間で、回答の長さ・構成・引用元に至るまで構造的な差異があることを確認しており、「ChatGPTでの自社サイトの引用状況を確認したいなら、APIでの検証は推奨できない」という結論を出している。

1か月あまり後の2026年3月20日には、ハンブルク大学ライプニッツ・メディア研究所の研究チームが、ドイツ広報・コミュニケーション学会（DGPuK）の年次大会で、方向性の一致する独立した発見を報告した。5週間・24,000件のドイツ語ニュース関連質問を対象に、ChatGPTのウェブ版とAPIの引用元を比較したところ、API版は非報道系の情報源（ウィキペディアなど）に偏り、ウェブ版は主流報道機関に偏っていたという。ロイター・デジタルニュースレポートの主要メディアリストとの一致率は、ウェブ版45.5%に対してAPIはわずか27.3%。この差は統計的に有意だったと報告されている。

さらに4か月後、2026年7月21日（ウェブ版）と7月26日（API）に、和服レンタルをめぐるこの追加調査を実行し、8月11日にこの記事としてまとめた。半年あまりの間に、対象言語も対象領域もまったく異なる4つの独立した観察（英語圏のSEO検証、英語圏の複数プラットフォーム比較実験、ドイツ語のニュース質問、日本語の和服レンタル推薦）が、同じ方向を指し示している——同じ質問でも、ウェブ版とAPIとでは、AIの背後にある情報源そのものが別物である可能性が高い。これは今回の単発の観察がたまたま一致しただけとは考えにくい。

（SurferとLuxeo Teamの2件は業界内チームによる独自の検証報告であり、ハンブルク大学の研究は現時点では学会報告の段階にとどまり、正式な論文の公開はまだ確認できていない。3件とも査読を経た定説ではなく、それぞれの性質に応じて扱う必要がある。）

これは事業者にとって何を意味するか

「アフィリエイト型の比較サイトにお金を払って、自分の店を推薦リストに載せてもらうべきか」——この問いへの答えは、あなたの顧客がどの経路でAIにたどり着くかによって変わってくる。

一般消費者向けのChatGPTウェブ版と、ChatGPT APIを組み込んだ増え続けるサードパーティ・アプリ（旅行アプリ、チャットボット、各種「AIアシスタント」）は、同じ人物の同じ質問に対して、まったく異なる2種類の情報源を提示している可能性が高い。アフィリエイト型の比較サイトとの関係を育てることは、ウェブ版での見え方を改善する。しかし顧客がAPIを利用するサードパーティのツール経由でたどり着く場合、効いてくるのはむしろ、自社サイトに料金やプランが明確に書かれているか、検索エンジンに拾われる形になっているかという点である——「一店ずつ公式サイトで裏を取る」というあの探索経路が、まさにそこを見ているのだ。

「AI検索での露出を高める」ということは、単一の目標ではなく、少なくとも2本の異なる線として捉える必要があるのかもしれない。

正直に言って、今回の調査の限界はどこにあるか

これは今回のための補足調査であり、毎月実施している12か月分の定期観測には組み込まない。サンプル規模も結論を出せる水準には遠く及ばない。以下、限界を正直に列挙する。

n=20は、API側で2ラウンドのみ完全に実行したものである。ウェブ版のデータは2026年7月21日のPhase 0観測に基づいており、両者は同日に実行されたものではない——5日間の時間差があり、この差自体を排除できていない。比較そのものも非対称である。API側では検索動作と生の返り値まで完全に見えるが、ウェブ版はブラックボックスであり、「双方の結果」同士は比較できても、「双方の過程」までは比較できない。質問とカテゴリも1本のみ（着物レンタルカテゴリ・日本語での質問：京都 着物レンタル おすすめ）に限られており、これはアフィリエイトサイトが極端に寡占している特殊なカテゴリである。引用元がもともと分散しているカテゴリ（茶道体験など）で同様の入れ替わりが起きるかどうかは、結果が異なる可能性がある。API側自体のゆらぎ幅もv1・v2の2ラウンドしか測定しておらず、判定閾値を定められる水準には達していない。

これらが補われるまで、「API版では、アフィリエイトサイトによる引用の独占が観測できない」という主張は、実測に裏づけられてはいるものの、あくまでAPI側という片側の内部挙動しか見ていない強い仮説にとどまり、確定した結論ではない。

参考文献

Sadowski, J.; Korczyński, W.（2026）. "Scraped AI Answers vs. API Results from LLMs. Is There a Difference? [AI Search Study]." Surfer、2026年2月3日更新。surferseo.com/blog/llm-scraped-ai-answers-vs-api-results

Kovshun, D.（2026）. "ChatGPT Output Differences in Web Version, API, and Mobile App: Independent Experiment #9 Results." Luxeo Team、2026年2月6日。luxeo.team/chatgpt-web-vs-api-experiment

Schatto-Eckrodt, T. 他（2026）. "ChatGPT as a News Recommender System: Measuring Source Types and Diversity across Different Interfaces." ドイツ広報・コミュニケーション学会（DGPuK）2026年年次大会報告、ドルトムント工科大学、2026年3月20日。ライプニッツ・メディア研究所（ハンス・ブレドウ研究所）／ハンブルク大学。

以上のうちSurferとLuxeo Teamの2件は業界内チームが独自に発表した検証報告であり、査読を経た学術研究ではない。ハンブルク大学の研究は現時点で学会報告の段階にとどまり、正式な論文の公開発表は確認できていない。3件とも査読を経た定説ではなく、それぞれの性質に応じて扱う必要がある。

本稿は個人の研究・情報共有プロジェクトによるものであり、特定の団体・大学等とは無関係である。方法論の詳細はKääseläの月次レポートシリーズを参照のこと。