附錄:波動幅度的測定方法與引用來源六分類

Kääselä Appendix 2026-08 全號共用的固定附錄 摘要版・閱讀約2分鐘

本頁為摘要版;自2026年9月起,非日語版以摘要形式發佈。完整附錄以日語發佈:全文(日本語)。本頁所有數值與日語原文一致。

Kääselä Monthly Report 全號共同參照的固定附錄。各號正文不再複述方法論,直接連結到本頁。

1. 為什麼要測波動幅度

生成式AI對同一個問題,不一定每次返回同樣的答案。某個月的觀測裡「AI的引用變了」,究竟是真的變化還是單純的生成波動,只有先知道波動有多大才能判斷。本調查把這個波動的幅度稱為「波動幅度」,先實測、公開,再作為解讀月度差異的基準線。與只跑一次(n=1)就斷言「AI是這麼說的」的商用工具的區別,就在於自己測出並公開了這條基準線。

2. 測定方法

每條查詢在同一條件下(ChatGPT・GPT-5.5・網頁版・臨時對話・關鍵詞型查詢・於京都市內執行)連續執行20次(n=20),逐次記錄被引用的資訊來源網域集合。兩次執行之間引用來源集合的重合程度用Jaccard係數(交集÷聯集)表示:越接近1.0表示每次引用同樣的來源,越接近0表示每次幾乎整個換掉。

3. 12格的波動幅度(Jaccard係數)

日語英語簡體中文繁體中文
茶道0.250.200.310.25
和服0.410.160.150.11
坐禪0.350.400.220.23

波動幅度因類別和語言而異,不能用單一閾值套用到所有格。

4. 判定閾值的事前登記

主指標(引用來源的類別構成比)的判定閾值逐格設定:從第0號數據(已剔除業者資訊卡的口徑)出發,以執行為單位做bootstrap(B=4000)求出各格95%區間的半幅;兩個時點之間的比較,變動達到「半幅×√2(向上取整)」以上才視為信號。最初的登記(全格一律±10pt・跨期14pt)是在把業者資訊卡計入引用的口徑下算出的,隨卡片分離(第2版訂正)作廢,並僅用第0號數據、在未彙總任何第1號數據的狀態下逐格重新推導。不會在看到觀測結果之後再調整閾值。

跨期閾值(pt)日語英語簡體中文繁體中文
茶道1591015
和服17162322
坐禪14131814

單個業者的出現率比類別構成比波動更大(約±22pt),月度評估只看上位集團的集中度。

5. 引用來源六分類的定義

類別定義
公共地方政府、觀光協會、公共團體、公立文化設施
業者官網回答中被推薦的業者、寺院或個人導覽者本人營運的頁面(有無預約功能不問)
OTA彙集他者庫存、可在自身網站完成預約的第三方平台
媒體自身網站不能預約、向外部引導的編輯內容(含聯盟行銷)
目錄跨域彙總、不收佣金的名錄
UGC用戶投稿

6. 方法論的限界

透過普通UI的觀測只能捕捉回答裡實際引用的頁面,捕捉不到AI檢索時參照的候選頁面群,因此本調查一律使用「出現率」、不使用「選擇率」。這裡說的可複現,指的是在同一時間窗、同一引擎版本、排除個人化的條件下得到統計上一致的分布,而不是逐字一致的回答。完整討論見日語全文§6

本頁是 Kääselä(Kamogawa AI Search Lab)個人研究專案的一部分。數據以CC BY 4.0無償公開,不出售。

Top