Monthly Report #002
京都の体験サービスにおける生成AIの回答傾向(2026年9月)

Kääselä Monthly Report #002 2026-10-04 読了目安 約13分

#AI検索 #GEO / LLMO #多言語 #茶道 / 着物 / 座禅 #ゆらぎ幅

  1. 1要旨
  2. 2方法
  3. 3急騰のあと、どこまで戻ったか
  4. 4紹介される店は、かなり入れ替わった
  5. 5戻り方は、カテゴリと言語で違った
  6. 6その差は、本当に「変化」なのか
  7. 7適用範囲・限界
  8. 8付録・データ

1. 要旨(Abstract)

初版(2026年10月4日公開)。第0号(2026年7月・GPT-5.5)、第1号(2026年8月・GPT-5.6 Luna)に続く3期目の観測である。第2号ではGPT-5.6 Solを使用した。モデル変更の影響は第7章で扱う。

第1号では、引用元のうち送客手数料で収益を得るOTA・比較メディア(以下「送客型」)の比率が大きく上がった。着物・英語では92.5%に達し、12セル中8セルで第0号より上昇していた。

第2号では、その一部が反落した。ただし、すべてが元の水準へ戻ったわけではない。

座禅は3期を通して送客型比率が1桁台でほぼ横ばいだった(4言語平均で6.8%→9.5%→6.1%)。一方、茶道(24.2%→59.0%→32.6%)と着物(49.3%→81.3%→55.5%)は、第1号の急騰後に反落してもなお、第0号の起点より高い水準が残っている。

セル単位で見ると、12セル中6セルでは、第0号から第2号までの差がゆらぎ幅の閾値を超えたまま残っている。そのうち茶道・日本語と着物・英語は起点を下回る方向、茶道・繁体中文/簡体中文、着物・簡体中文、座禅・英語の4セルは起点を上回る方向に動いている。着物・簡体中文は反落したとはいえ、66.7%という値そのものは12セル中もっとも高い。「急騰はすべて一時的だった」とは言えない(第3章)。

事業者個別の出現率にも大きな入れ替わりがあった。ただし、20回という試行回数では、この指標はもともと揺れやすい。前号より多く名指しされた店がそのまま「評価が上がった」とは判断できないため、今回は補助的な記録として扱う(第4章)。

反落の幅は、カテゴリと言語で異なる。茶道では日本語、着物では英語の反落が大きく、起点を下回った。一方、茶道の繁体中文・簡体中文、着物の簡体中文では、起点より高い水準が残っている(第5章)。

2. 方法(Methodology)

観測にはChatGPT(Web版、GPT-5.6 Sol)を使用した。実行期間は2026年9月21日から30日、京都市北区の自宅から光回線で実行している。ログイン状態の一時チャットを使い、実行日時・実行地・回線種別・モデル名も記録した。

クエリは「京都+カテゴリ語+おすすめ」を基本形とした——たとえば茶道なら「京都 茶道体験 おすすめ」。日本語・英語・簡体中文・繁体中文の4言語で実行している。対象カテゴリは茶道、着物・和服、座禅の3つ。各条件につき20回(n=20)連続して実行し、回答に引用された事業者名と引用元ドメインを記録した。

引用元は、公共、自社、OTA、メディア、ディレクトリ、UGCの6種類に分類した。記録は店舗単位、集計はブランド単位で行っている。

着物・簡体中文はアカウントの契約状態の誤り、座禅・繁体中文/簡体中文は引用元の記録形式の不備(完全なURLでなくドメイン要約のみ)により、それぞれ同月中に正規条件下で再実行した。元の実行記録は参考記録として残し、集計には使っていない。

3. 急騰のあと、どこまで戻ったか(Findings)

引用元を「送客型」(比較メディアとOTA。送客手数料で収益を得る業態)と「非送客型」(公共サイト・事業者自身の公式サイト・ディレクトリ・UGC)に分け、第0号・第1号・第2号の3期で比較した。

カテゴリ(4言語平均)第0号第1号第2号
座禅6.8%9.5%6.1%
茶道24.2%59.0%32.6%
着物49.3%81.3%55.5%

座禅は3期を通してほとんど動いていない。茶道・着物は第1号で急騰し、第2号で反落した。それでも、反落後の値はいずれも第0号の起点より高い。

セル単位で第0号と第2号を直接比べると(第1号を経由した2段階ではなく、起点からの正味の変化)、12セル中6セルでゆらぎ幅の閾値(セルごと9〜23ポイント、算出方法は第6章)を超える変化が残っている。

セル第0号第1号第2号第0号→第2号
茶道・日本語22.4%38.8%6.8%−15.6pt(閾値超え・起点を下回る)
茶道・英語51.0%100.0%58.3%+7.3pt(ゆらぎ幅内)
茶道・繁体中文10.8%40.9%30.8%+20.0pt(閾値超え・高止まり)
茶道・簡体中文12.5%56.4%34.5%+22.0pt(閾値超え・高止まり)
着物・日本語68.3%100.0%78.4%+10.1pt(ゆらぎ幅内)
着物・英語80.0%95.0%54.2%−25.8pt(閾値超え・起点を下回る)
着物・繁体中文22.9%56.9%22.6%−0.3pt(ゆらぎ幅内・ほぼ起点に回帰)
着物・簡体中文26.0%73.4%66.7%+40.6pt(閾値超え・反落幅が最小)
座禅・日本語5.9%11.7%0.0%−5.9pt(ゆらぎ幅内)
座禅・英語8.7%26.2%22.5%+13.8pt(閾値超え・高止まり)
座禅・繁体中文6.1%0.0%0.0%−6.1pt(ゆらぎ幅内)
座禅・簡体中文6.6%0.0%1.8%−4.8pt(ゆらぎ幅内)

閾値を超える変化が残る6セルのうち、茶道・日本語と着物・英語の2セルは起点を下回る方向に動き、茶道・繁体中文/簡体中文、着物・簡体中文、座禅・英語の4セルは起点を上回る方向に動いている。着物・簡体中文は反落したものの、66.7%という値そのものが12セル中もっとも高い。今回の結果だけを見る限り、「急騰はすべて一時的だった」と片づけるには早い。

4. 紹介される店は、かなり入れ替わった(Brand Visibility)

個別ブランドの出現率(20回中何回名指しされたか)を第1号・第2号で比べると、12セルに登場した実体のうち72件が、事前に設定した閾値(±22ポイント)を超えて動いた。もっとも大きく動いた例では、着物・英語のK-04が0%から100%へ、茶道・日本語のT-09が100%から15%へ変化している。

20回という少ない試行回数では、個別ブランドの出現率はもともと大きく揺れる。構成比(第3章)は1セルあたり37〜72件の引用を集計した値で誤差が小さいが、個体出現率は「20回のうち何回登場したか」という二値の観測から算出した値であり、n=20の二項分布そのものに由来する分散が大きい。±22ポイントという閾値はこの分散を織り込んで算出してあるため、72件は単なる誤差とは言い切れない大きさである。それでも、同じ推薦文脈に複数の候補が並んでいて、回答がそのうち数件を毎回選び直しているだけなら、真の人気度が変わらないままでも顔ぶれの入れ替わりは観測され得る。閾値超えが「評価が実際に変わった」ことを意味するのか、「候補集合内のランダムな選び直し」を意味するのかは、この指標だけでは切り分けられない。

今回はこの72件を本文の主要な論点にはしない。一覧は付録に残した。同一の入れ替わりが複数の言語版で同時に起きているか、該当事業者の実店舗側に確認できる変化(閉店・業態変更・新規参入等)があるかを、セルごとに個別検証したうえで、次号以降であらためて報告する。

5. 戻り方は、カテゴリと言語で違った(Delta)

5.1 座禅は、3期を通してほぼ動いていない

座禅では、4言語を通して送客型比率がほぼ1桁台にとどまっている(4言語平均は第3章の表のとおり6.8%→9.5%→6.1%)。第0号からの仮説(H-01)は、商業インセンティブの強いカテゴリほど送客型の情報源が入りやすいと見ている。今回の結果もこの仮説と矛盾しない。座禅は茶道や着物に比べて体験の予約経路がもともと多様でなく、比較メディアやOTAが扱う商品として成立しにくいようだ。

茶道・着物は第1号で急騰し、第2号で反落したが、反落の大きさはカテゴリ内でも一様ではない。この点は次節の言語差と合わせて見る必要がある。

5.2 同じカテゴリでも、言語によって戻り方が割れる

茶道では、日本語(起点を下回る反落)だけが明確に反落し、繁体中文・簡体中文は依然として起点を大きく上回ったままである。英語はゆらぎ幅の範囲に収まっている。着物では、英語が明確に反落して起点を下回る一方、簡体中文は12セル中もっとも高い送客型比率(66.7%)を維持している。繁体中文はほぼ起点に戻った。

同じカテゴリの中でも、日本語版・英語版で反落が大きく、繁体中文版・簡体中文版で反落が小さいという傾向が、茶道・着物の両方で見られる。なぜそうなるのかは、今回のデータだけでは判断できない。言語ごとにクロールされる情報源の母集団が違うのか、単に観測期間が短く、繁体中文・簡体中文側の反落がまだ先に起きていないだけなのか——どちらの可能性も残る。

5.3 「メディア」の内側と、動かなかった公共サイト

第2号の上位引用ドメインを見ると、「メディア」に分類されるドメインの少なからぬ部分が、GetYourGuide・Klook等への送客で収益を得るアフィリエイトサイトである(thejapanode.com・hontojapan.com・kyoto-kimonorental.jp・thingstodokyoto.com等)。これらはSCHEMA §2の「ドメイン自身の主要機能で定める」という分類規則に従ってメディアに分類されているが、収益構造としては送客型に近い。つまり「OTA比率が下がった」ことをもって送客型全体が後退したと読むのは誤りで、実態に近いのは「OTAという個別ラベルを持つプラットフォーム(jalan.net・otonami.jp・byfood.com等)が後退し、アフィリエイト型のメディアサイトがその位置の一部を引き継いだ」という方だ。

一方、京都市公式の観光情報サイトja.kyoto.travelは、12セル中10セルで引用ドメインの上位2位以内に入り、座禅では80%以上の実行に安定して登場する。送客型比率が急騰・反落するあいだも、この公式情報源の位置は一度も動いていない。

6. その差は、本当に「変化」なのか(Signal vs. Noise)

何も変えずに同じ質問を繰り返しても、回答はある幅で揺れる。この揺れの幅(ゆらぎ幅)を超えない差は、本シリーズでは「変化」と数えない。判定の線はセルごとに9〜23ポイントで、第0号のデータからあらかじめ算出してある(方法は付録A)。

第0号→第2号の比較は、この線を2期分(第0号→第1号、第1号→第2号)飛び越える比較にあたる。線そのものは同一モデル内・単期間のばらつきから導出した値で、2期以上離れた比較にそのまま使えるかは検証していない。したがって、第3章で「閾値超え」とした6セルは、現時点では下限の目安として扱う。2期越え専用の閾値については、今後の観測で検証する必要がある。

個体出現率の±22ポイントという線は、n=20・p=0.5の二項分布から導かれる値で、引用元の口径とは別に決まる。構成比の閾値(9〜23ポイント)より個体出現率の閾値の方が総じて緩いのは、集計の単位が大きいほど、同じ大きさの本当の変化を検出するのに必要な差が小さくて済むからだ。

7. 適用範囲・限界(Limitations)

モデル変更との交絡:第0号はGPT-5.5、第1号はGPT-5.6 Luna、第2号はGPT-5.6 Solで観測している(座禅・日本語のみUI上の表示制約でモデル名を直接確認できていない)。本号で報告した3期の差分には、この2回のモデル変更が完全に交絡している。送客型比率の急騰・反落が、ウェブ側の情報生態の変化によるものか、モデルの入れ替わりによるものかは、本号のデータからは切り分けられない。

引用元の記法変更に伴う再パース:観測開始当初に使っていた引用記法のうち2種類(「タイトル [URL]」「[タイトル] URL」)が集計スクリプトで認識されておらず、12セル中10セルで引用元集計が0件になっていた不具合を本号の集計中に見つけ、スクリプトを修正して再集計した。この修正にともない、domains.csvに未登録だった11ドメインを新たに追加し、分類している(メディア7件・自社3件・公共1件)。元データに記録漏れはなく、集計スクリプトの読み取り範囲の問題だったことを確認済みである。

実行条件の不備と再実行:着物・簡体中文はアカウントの契約状態の誤り(実行時に無料版へ失効していた)、座禅・繁体中文/簡体中文は引用元の記録形式の不備により、それぞれ同月中に正規条件下で再実行した。元の実行記録は参考記録として保持し、本号の集計には用いていない。

個体出現率の72件:第4章で述べた通り、この指標は主要な論点として扱わない。一覧は付録として保持し、個別の実体について実店舗側の変化が確認できた時点で、今後の号で改めて報告する。

閾値の適用範囲:ゆらぎ幅の閾値は同一モデル内・単期間のばらつきを測ったもので、2期以上離れた比較やモデル変更をまたぐ比較では、あくまで下限の目安として扱う(第6章)。

適用範囲:本レポートが対象とするのは、推薦型クエリ(「京都 茶道体験 おすすめ」のように候補を尋ねる質問)に対する回答のみである。特定の店舗同士を比べる質問、予約や購入に直結する質問、店名を指名した質問など、異なる検索意図では引用元が変わる可能性がある。本調査の対象はChatGPT・単一観測者・単一実行地という条件に限定される。結果をそのまま他の生成AIや異なる実行条件へ一般化することはできない。期間間の対応関係についての説明は、観測されたパターンと整合する仮説的な解釈にとどまり、因果関係を立証したものではない。

8. 付録・データ(Appendix / Data)

本記事は、個人による調査・情報共有プロジェクトであり、特定の団体・大学・企業等とは関係ありません。データはCC BY 4.0で無償公開しており、販売は行いません。

Top