Kääselä Monthly Report 全号から共通参照する固定付録。個別号の本文では方法論を再掲せず、このページにリンクする。
1. なぜゆらぎ幅を測るのか
生成AIは、同じ質問をしても毎回同じ答えを返すとは限らない。ある月の観測で「AIの引用が変わった」ように見えても、それが実際の変化なのか、単なる生成のゆらぎなのかは、ゆらぎの大きさを知らなければ判断できない。
本調査では、この揺れの幅を「ゆらぎ幅」と呼び、先に実測して、月次の差分を読む際の基準線として使う。1回の観測（n=1）で「AIはこう言う」と断定する商用ツールとの違いは、この基準線を自ら測り、公開している点にある。
2. 測定方法
各クエリを同一条件（ChatGPT・GPT-5.5・Web版・一時チャット・キーワード型・京都市で実行）で20回（n=20）連続実行し、回ごとに引用された情報源ドメインの集合を記録した。
2回の実行間で引用元集合がどれだけ重なるかを、Jaccard係数（重なる集合 ÷ 合わせた集合の大きさ）で表した。1.0に近いほど毎回同じ情報源が引用され、0に近いほど毎回入れ替わる。
3. 12セルのゆらぎ幅（Jaccard係数）
| 日本語 | 英語 | 簡体中文 | 繁体中文 | |
|---|---|---|---|---|
| 茶道 | 0.25 | 0.20 | 0.31 | 0.25 |
| 着物 | 0.41 | 0.16 | 0.15 | 0.11 |
| 座禅 | 0.35 | 0.40 | 0.22 | 0.23 |
最も分散が大きいのは着物・繁体中文（0.11）で、自社サイトが多数の店に分散しているため。最も安定しているのは座禅・英語（0.40）で、少数の寺院サイトに引用が集中しているためである。
日本語・英語の茶道（0.247／0.204）は、外部研究（Green et al.）が報告した値（0.265）と近い水準となった。これは独立に行った本調査のゆらぎ幅が、他の観測とも整合することを示す一つの傍証である。
ゆらぎ幅はカテゴリ・言語によって異なる。単一の閾値をすべてのセルに当てはめることはできない。
4. 判定閾値の事前登記
引用元の種別構成比（本指標）の判定閾値は、セルごとに定める。第0号のデータ（事業者情報カードを除いた口径）から、実行単位のブートストラップ（B=4000）で95%区間の半幅を求め、2時点間の比較では「半幅×√2（切り上げ）」以上の変動を信号として扱う。§3のとおりゆらぎ幅はセルごとに異なるため、単一の閾値をすべてのセルに当てはめることはしない。
| 2時点間の閾値（pt） | 日本語 | 英語 | 簡体中文 | 繁体中文 |
|---|---|---|---|---|
| 茶道 | 15 | 9 | 10 | 15 |
| 着物 | 17 | 16 | 23 | 22 |
| 座禅 | 14 | 13 | 18 | 14 |
当初の登記（全セル一律で±約10ポイント・2時点間14ポイント）は、事業者情報カードを引用に含む口径で算出していたため、カードの分離（第2版訂正）にあわせて失効とし、上記のとおりセルごとに算出し直した。再算出は、第1号のデータを一切集計しない状態で、第0号のデータのみから行っている。観測結果を見てから閾値を調整することは、事前登記の意味を損なうため行わない。
個々の事業者の出現率は、種別構成比よりもばらつきが大きく（±約22ポイント）、月次では上位グループの集中度のみを評価対象とする。
5. 引用元6分類の定義
| 種別 | 定義 |
|---|---|
| 公共 | 自治体・観光協会・公的団体・公立文化施設 |
| 自社 | 回答内で推薦対象となる事業者・寺院・個人ガイド本人が運営する面（予約機能の有無は問わない） |
| OTA | 他者の在庫を束ね、自サイトで予約が完了する第三者プラットフォーム |
| メディア | 自サイトでは予約できず、外部へ誘導する編集コンテンツ（アフィリエイトを含む） |
| ディレクトリ | 横断集約型・無手数料の目録 |
| UGC | 利用者投稿 |
判定基準は、ドメイン自身の主要機能と、それが推薦対象の本人の面かどうかで定める。アフィリエイトの有無は種別を決めず、別フラグとして記録する。
6. 方法論の限界
限界一：候補プール非開示。本調査は ChatGPT の通常UIでの手動観測に基づく。AIが検索・参照した候補ページ群（グラウンディング・プール）と、最終的に回答へ引用されたページ（citation）は別の層であり、UIでの観測は後者のみを捉える。候補プールに対する各事業者の選択率・棄却率は測定不能であり、観測できるのは n 回の試行における出現頻度のみである。この区別を欠いた「選択率」という語の使用は避け、本調査では一貫して「出現率」と表記する。
限界二：再現性の定義。本調査における再現性は、逐語的な一致ではなく、統計的な分布の一致を意味する。生成的なランダム性（n=20で対応）、エンジンのバージョン変化、アカウント・地域・パーソナライゼーションの差異により、同一手順でも個別試行の結果は一致しない可能性がある。再現性の主張は「同一時間窓・同一エンジンバージョン・個人化を排除した条件下で、統計的に一致する分布が得られること」に限定される。
本ページは Kääselä（Kamogawa AI Search Lab）の個人研究プロジェクトの一部です。データはCC BY 4.0で無償公開しており、販売は行いません。