付録：ノイズフロアの測定方法と分類基準

Kääselä Monthly Report 全号から共通参照する固定付録。個別号の本文では方法論を再掲せず、このページにリンクする。

初出：2026年8月2日（Monthly Report #000）｜ 恒久掲載・改訂時はこのページ内に履歴を残す

1. なぜノイズフロアを測るのか

生成AIは、同じ質問をしても毎回同じ答えを返すとは限らない。ある月の観測で「AIの引用が変わった」ように見えても、それが実際の変化なのか、単なる生成のゆらぎなのかは、ゆらぎの大きさを知らなければ判断できない。

本調査では、この「ゆらぎの大きさ」を先に実測し、月次の差分を読む際の基準線として使う。1回の観測（n=1）で「AIはこう言う」と断定する商用ツールとの違いは、この基準線を自分たちで測り、公開している点にある。

2. 測定方法

各クエリを同一条件（ChatGPT・GPT-5.5・Web版・一時チャット／ログアウト状態・キーワード型・京都市で実行）で20回（n=20）連続実行し、回ごとに引用された情報源ドメインの集合を記録した。

2回の実行間で引用元集合がどれだけ重なるかを、Jaccard係数（重なる集合 ÷ 合わせた集合の大きさ）で表した。1.0に近いほど毎回同じ情報源が引用され、0に近いほど毎回入れ替わる。

3. 12セルのノイズフロア（Jaccard係数）

最も分散が大きいのは着物・繁体中文（0.11）で、自社サイトが多数の店に分散しているため。最も安定しているのは座禅・英語（0.40）で、少数の寺院サイトに引用が集中しているためである。

日本語・英語の茶道（0.247／0.204）は、外部研究（Green et al.）が報告した値（0.265）と近い水準となった。これは独立に行った本調査のノイズフロアが、他の観測とも整合することを示す一つの傍証である。

ノイズフロアはカテゴリ・言語によって異なる。単一の閾値をすべてのセルに当てはめることはできない。

4. 判定閾値の事前登記

bootstrap法により、引用元の種別構成比（本指標）は n=20 の観測で95%区間 ±約10ポイントとなることを確認した。2時点間の比較では、約14ポイント以上の変動があった場合に「信号」として扱う。

この閾値は、第1号（2026年9月）の観測を開始する前に確定・登記したものであり、以後変更しない。観測結果を見てから閾値を調整することは、事前登記の意味を損なうため行わない。

個々の事業者の出現率は、種別構成比よりもばらつきが大きく（±約18〜22ポイント）、月次では頭部グループの集中度のみを評価対象とする。

5. 引用元6分類の定義

判定基準は、ドメイン自身の主要機能で定める。回答内での使われ方では定めない。アフィリエイトの有無は種別を決めず、別フラグとして記録する。

6. 方法論の限界

限界一：候補プール非開示。本調査は ChatGPT の通常UIでの手動観測に基づく。AIが検索・参照した候補ページ群（グラウンディング・プール）と、最終的に回答へ引用されたページ（citation）は別の層であり、UIでの観測は後者のみを捉える。候補プールに対する各事業者の選択率・棄却率は測定不能であり、観測できるのは n 回の試行における出現頻度のみである。この区別を欠いた「選択率」という語の使用は避け、本調査では一貫して「出現率」と表記する。

限界二：再現性の定義。本調査における再現性は、逐語的な一致ではなく、統計的な分布の一致を意味する。生成的なランダム性（n=20で対応）、エンジンのバージョン変化、アカウント・地域・パーソナライゼーションの差異により、同一手順でも個別試行の結果は一致しない可能性がある。再現性の主張は「同一時間窓・同一エンジンバージョン・個人化を排除した条件下で、統計的に一致する分布が得られること」に限定される。

本ページは Kääselä（Kamogawa AI Search Lab）の個人研究プロジェクトの一部です。データはCC BY 4.0で無償公開しており、販売は行いません。