本頁為摘要版;自2026年9月起,非日語版以摘要形式發佈。完整附錄以日語發佈:全文(日本語)。本頁所有數值與日語原文一致。
Kääselä Monthly Report 全號共同參照的固定附錄。各號正文不再複述方法論,直接連結到本頁。
1. 為什麼要測波動幅度
生成式AI對同一個問題,不一定每次返回同樣的答案。某個月的觀測裡「AI的引用變了」,究竟是真的變化還是單純的生成波動,只有先知道波動有多大才能判斷。本調查把這個波動的幅度稱為「波動幅度」,先實測、公開,再作為解讀月度差異的基準線。與只跑一次(n=1)就斷言「AI是這麼說的」的商用工具的區別,就在於自己測出並公開了這條基準線。
2. 測定方法
每條查詢在同一條件下(ChatGPT・GPT-5.5・網頁版・臨時對話・關鍵詞型查詢・於京都市內執行)連續執行20次(n=20),逐次記錄被引用的資訊來源網域集合。兩次執行之間引用來源集合的重合程度用Jaccard係數(交集÷聯集)表示:越接近1.0表示每次引用同樣的來源,越接近0表示每次幾乎整個換掉。
3. 12格的波動幅度(Jaccard係數)
| 日語 | 英語 | 簡體中文 | 繁體中文 | |
|---|---|---|---|---|
| 茶道 | 0.25 | 0.20 | 0.31 | 0.25 |
| 和服 | 0.41 | 0.16 | 0.15 | 0.11 |
| 坐禪 | 0.35 | 0.40 | 0.22 | 0.23 |
波動幅度因類別和語言而異,不能用單一閾值套用到所有格。
4. 判定閾值的事前登記
主指標(引用來源的類別構成比)的判定閾值逐格設定:從第0號數據(已剔除業者資訊卡的口徑)出發,以執行為單位做bootstrap(B=4000)求出各格95%區間的半幅;兩個時點之間的比較,變動達到「半幅×√2(向上取整)」以上才視為信號。最初的登記(全格一律±10pt・跨期14pt)是在把業者資訊卡計入引用的口徑下算出的,隨卡片分離(第2版訂正)作廢,並僅用第0號數據、在未彙總任何第1號數據的狀態下逐格重新推導。不會在看到觀測結果之後再調整閾值。
| 跨期閾值(pt) | 日語 | 英語 | 簡體中文 | 繁體中文 |
|---|---|---|---|---|
| 茶道 | 15 | 9 | 10 | 15 |
| 和服 | 17 | 16 | 23 | 22 |
| 坐禪 | 14 | 13 | 18 | 14 |
單個業者的出現率比類別構成比波動更大(約±22pt),月度評估只看上位集團的集中度。
5. 引用來源六分類的定義
| 類別 | 定義 |
|---|---|
| 公共 | 地方政府、觀光協會、公共團體、公立文化設施 |
| 業者官網 | 回答中被推薦的業者、寺院或個人導覽者本人營運的頁面(有無預約功能不問) |
| OTA | 彙集他者庫存、可在自身網站完成預約的第三方平台 |
| 媒體 | 自身網站不能預約、向外部引導的編輯內容(含聯盟行銷) |
| 目錄 | 跨域彙總、不收佣金的名錄 |
| UGC | 用戶投稿 |
6. 方法論的限界
透過普通UI的觀測只能捕捉回答裡實際引用的頁面,捕捉不到AI檢索時參照的候選頁面群,因此本調查一律使用「出現率」、不使用「選擇率」。這裡說的可複現,指的是在同一時間窗、同一引擎版本、排除個人化的條件下得到統計上一致的分布,而不是逐字一致的回答。完整討論見日語全文§6。
本頁是 Kääselä(Kamogawa AI Search Lab)個人研究專案的一部分。數據以CC BY 4.0無償公開,不出售。