Monthly Report #001
京都の体験サービスにおける生成AIの回答傾向(2026年8月)

Kääselä Monthly Report #001 2026-09-06 読了目安 約12分

#AI検索 #GEO / LLMO #多言語 #茶道 / 着物 / 座禅 #ゆらぎ幅

  1. 1要旨
  2. 2方法
  3. 3引用元は、より少数のドメインに集中した
  4. 4紹介される事業者は、同じようには減らなかった
  5. 5集中先は、カテゴリによって異なった
  6. 6どこまでを「差」とみなせるか
  7. 7適用範囲・限界
  8. 8付録・データ

1. 要旨(Abstract)

初版(2026年9月6日公開)。第0号(2026年7月観測)との差分を扱う最初のレポート。

今回の観測は、ChatGPTのモデルが第0号のGPT-5.5からGPT-5.6 Lunaへ切り替わった直後にあたる。したがって以下で報告する差分には、ウェブ側で実際に起きた変化と、モデルの入れ替わりによる変化が分かちがたく混ざっている(交絡)。本号は、どちらが原因かを主張しない

その前提のもとで、今号の変化は一つの現象に集約できる。引用元が、より少数のドメインに集中した。以下、この現象を「引用元そのもの」「事業者の出現率」「カテゴリによる違い」という三つの角度から見る。

引用元を見ると、12セル中11セルで、20回の実行から返ってくる情報源の顔ぶれが、より少数のドメインに絞り込まれた(詳細は第3章)。

事業者を見ると、引用元が集中しても、紹介される事業者の数は同じようには減っていない。上位グループ(出現率20%以上)に入る店・寺院の数は、12セルを通してほぼ変わっていない。「誰が紹介されるか」と「誰の情報をもとに紹介されるか」は、別々に動いている——事業者T-08の例がその典型である(詳細は第4章)。

カテゴリを見ると、絞り込みの行き先には違いがある。茶道・着物では送客型(比較メディア・OTA)への集中が強まった一方、座禅では公共サイト・ディレクトリ・寺院自身のサイトといった非送客型が中心のまま残った(詳細は第5章)。

2. 方法(Methodology)

観測はChatGPT(GPT-5.6 Luna・Web版)で、ログインしたまま一時チャットを使って行った。実行日は2026年8月18日から20日、実行地は京都市北区、回線は自宅光回線である。

「京都+カテゴリ語+『おすすめ』などの推薦語」を基本クエリ(推薦型クエリ)とし、日本語・英語・簡体中文・繁体中文の4言語で観測を実施した。対象カテゴリは「茶道」「着物・和服」「座禅」の3種類である。各クエリは20回(n=20)連続して実行し、回答中で引用された事業者名と引用元ドメインを記録した。あわせて実行日時、実行地、回線種別、モデル名も記録している。

引用元は、「公共」「自社」「OTA(オンライン旅行代理店)」「メディア」「ディレクトリ(分野別の店舗・施設一覧サイト)」「UGC(ユーザー生成コンテンツ)」の6種類に分類した。記録は店舗単位で行い、集計はブランド単位で実施した。第1期はChatGPTのみを対象とし、観測者も単一である。

唯一の例外は座禅・英語(QZ-EN)で、20回中1回の記録に貼り付けミスによる破損が見つかったため、その回を除いたn=19で集計している

3. 引用元は、より少数のドメインに集中した(Findings)

12セル(カテゴリ×言語の組合せ)のうち11セルで、20回の実行から返ってくる情報源の顔ぶれが、より少数のドメインに絞り込まれた。実行間の重なり(Jaccard係数)はこの11セルすべてで上昇し、ユニークドメイン数(20回を通して何種類のドメインが引用されたか)は12セルすべてで減少している。

もっとも大きく動いたのは着物・英語(QK-EN)である。ユニークドメイン数は14から4へ減り、実行間の重なり(Jaccard係数)は0.16から0.79まで上がった——第0号では実行ごとのばらつきが大きかったのに対し、第1号では実質的に同じ4ドメインが繰り返し使われる状態になった。

この絞り込みが起きなかったのは、12セル中ただ1つ、座禅・英語(QZ-EN)だけである。ユニークドメイン数は17から15とほぼ横ばいで、Jaccard係数は上がらなかった(0.29→0.28)。

4. 紹介される事業者は、同じようには減らなかった(Brand Visibility)

引用元が少数のドメインに絞られたからといって、紹介される事業者まで減ったわけではない。上位グループ(出現率20%以上)に入る事業者の数は、12セルを通してほぼ変わっていない。実際に起きたのは顔ぶれの入れ替えであり、その方向は言語ごとに異なる。

茶道では、外国人向けに設計された国際ブランドが後退した。T-03は日本語・簡体中文・繁体中文の3セルすべてで0%になり、T-06も同じ3セルで大きく下げた(日60→15・簡90→50・繁100→10)。英語だけは、両者とも95〜100%を保っている。一方、京都の小規模事業者は上がった——T-08・T-09は日本語・簡体中文・繁体中文の3セルすべてで100%に達し、T-22は日本語と繁体中文で、T-40は日本語で出現率を大きく上げた。英語だけが第0号の顔ぶれをほぼそのまま維持しており、第0号で見えた「英語だけが違う」という構図は、第1号でいっそう際立った。

着物では、同じ店が言語によって逆方向に動く例が目立つ。K-04は英語で75%から0%に消えた一方、繁体中文では35%から80%、簡体中文では15%から85%に伸びた。K-14も英語で35%から100%に上がったのに対し、繁体中文では95%から25%に落ちている。着物・繁体中文だけは上位グループの数が7から9に増えており、第5章で唯一「順位も上位グループも判定できない」セルだったことと符合する——このセルだけが、絞り込みとは逆に動いている。

座禅では、Z-01の出現率が4言語すべてで大きく低下した(日本語90→0、英語75→21、繁体中文100→25、簡体中文95→10)。第0号でもっとも安定して名指しされていた寺院である。代わりにZ-12・Z-13・Z-08・Z-05・Z-11が上がり、日本語ではZ-12・Z-13・Z-08が揃って100%に達した。本山であるZ-04は簡体中文で大きく下がり(100→40)、日本語・繁体中文でも点推定では下がっている。その一方で、実際に坐禅を提供する塔頭の名前が上がる——この変化は、回答がより具体的な行き先を名指しする方向に動いた可能性を示している。

4.1 事例:T-08

茶道・日本語(QT-JA)におけるT-08の変化は、本号全体の縮図といえる。

第0号第1号
言及された実行13/2020/20
うちT-08の自社ドメインが引用された実行9/200/20

前より頻繁に推薦されるようになったのに、自社サイトは一度も引用されなくなった。第1号のQT-JAは引用元がわずか5ドメインで、その内訳は京都市の観光サイト系3件と予約プラットフォーム2件である。第1号の観測では、この店は京都市の観光サイトと予約サイトの記述を通してのみ語られていた。

5. 集中先は、カテゴリによって異なった(Delta)

引用元は絞り込まれたが、絞り込まれた先はカテゴリによって異なる。

5.1 12セルの引用元・主導種別

日本語英語簡体中文繁体中文
茶道公共 61.2メディア 59.2上位グループはOTAと公共(合計91%)。順位は判定できない公共 59.1
着物メディア 70.5OTA 92.5メディア 54.7順位を判定できない(公共33.3・メディア31.4・OTA25.5・自社9.8が拮抗)
座禅上位グループはディレクトリと公共(合計88%)。順位は判定できない自社 50.8(n=19)公共 52.8公共 58.6

ただしn=20では、首位種別の順位そのものを統計的に判定できないセルがある。本号では、判定できる粒度までを書き、それ以上は書かない。基準は三段階ある。首位と2位の差が復元抽出(ブートストラップ)の検定で確かめられるセルは、首位を書く。確かめられなくても、上位2種別の顔ぶれが安定して一致するセルは「上位グループはAとB」とだけ書く。どちらも成り立たないセルでは順位に触れず、後述する「送客型 対 非送客型」の二分だけを示す。

首位の入れ替わりと呼べる動きは、この号では1件しかない。着物・英語(QK-EN)では、第0号で首位だったメディア(45.5%)が後退し、第1号ではOTAが92.5%を占めて首位になった(OTA単体の比率は34.5%から92.5%へ上昇)。第1号内での首位と2位(ディレクトリ5.0%)の差は87.5ポイントあり、これほど明確な入替は他のセルにない。似た動きに見える茶道・簡体中文(公共43.9→OTA47.3)と座禅・日本語(公共59.6→ディレクトリ45.5)は、表の上では順位が替わって見えるものの、第1号内での首位と2位の差はそれぞれ3.6ポイント・2.6ポイントしかなく、20回の観測につきものの誤差と区別できない大きさである。「拮抗」と書くのが正確である。

5.2 送客型と非送客型——第0号からの構造は崩れていない

引用元を「送客型」(比較メディアとOTA。送客手数料で収益を得る業態)と「非送客型」(公共サイト・事業者自身の公式サイト・ディレクトリ・UGC)に分けると、第0号で確認した構造がそのまま残っている。20回の観測につきものの誤差を区間として織り込むと、着物4セルの送客型比率は下限がもっとも低いセルでも44.4%、座禅4セルは上限がもっとも高いセルでも36.1%——両者の区間は一度も交わらない。しかも両者の開きは、第0号の2.6ポイントから8.3ポイントへ広がった。

商業インセンティブが強いカテゴリほど送客型が優勢になるという第0号の説明モデル(H-01)は、モデル変更をまたいでも崩れていない。

カテゴリ別に見ると、絞り込みの行き先は一様ではない。茶道では4言語すべてで自社サイトの引用が0.0%となり(第0号は20.9〜30.9%)、同時にOTAの比率が急増した——着物・英語では引用の9割超がOTAになっている。増えたOTA引用の内訳では、olachill.com・jalan.net・tripadvisor.com・otonami.jp・byfood.comが上位を占める。座禅では自社(寺院の公式サイト)の引用が英語・簡体中文・繁体中文で残り(50.8%・30.2%・13.8%。日本語は0.0%)、英語は67.1%から50.8%への下落にとどまる。また座禅では、OTAではなくディレクトリの比率が伸びている(座禅・日本語は28.1%から45.5%へ。ただし公共42.9%との差は順位を判定できる大きさではない)。

補足:新規参入ドメインの実例

もっとも目立つのはolachill.comである。第0号では着物・英語の2実行に現れるだけだったこのドメインが、第1号では着物4セルでのべ43件引用され、着物のOTA引用の最上位を占めた。逆の動きもある。第0号で着物・日本語の9割の実行に引用されていたkyoto-kimonorental.jpは、第1号の着物・日本語では引用が確認できず、代わりに繁体中文で1件から11件に増えた。主要な引用元となるドメインと、そのドメインが強く現れる言語の組合せは、1か月で入れ替わっている。

6. どこまでを「差」とみなせるか(Signal vs. Noise)

何も変えずに同じ質問を繰り返しても、回答はある幅で揺れる。この揺れの幅(ゆらぎ幅)を超えない差は、本シリーズでは「変化」と数えない。判定の線はセルごとに9〜23ポイントで、第0号のデータからあらかじめ算出してある(方法は付録A)。本号で報告したセル単位の変化——茶道4言語の自社比率の下落(20.9〜30.9ポイント)と、着物・英語のOTA比率の急増(58.0ポイント)——は、いずれも当該セルの線を上回っている。送客型と非送客型の開きは、この線ではなく区間の重なりで判定した(§5.2)。

この線は第0号のばらつきだけから決めてある。第1号のばらつきは第0号より小さい(12セル中11セルでJaccard係数が上がった=回答が安定した)ので、2期を比べる本来の線はこれより低くてよいはずである。つまり今回の判定は厳しめに振れており、ここで「変化」と報告したものは、より緩い基準でも変化として残る。

7. 適用範囲・限界(Limitations)

モデル変更との交絡:第0号はGPT-5.5、第1号はGPT-5.6 Lunaで観測しており、本号で報告したすべての差分はこのモデル変更と完全に交絡している。ウェブ側の情報生態そのものが変わったとは書けない——観測できるのは、モデルが変わった前後でChatGPTの回答がどう変わったか、という一点のみである。

閾値の適用範囲:ゆらぎ幅の閾値は同一モデル内のばらつきを測ったものであり、モデル変更をまたぐ比較では、あくまで下限として扱う。モデル変更による系統的な変化は、この閾値には含まれていない。

座禅・英語(QZ-EN)のn=19:20回中1回の記録で、本文が別のカテゴリ(着物)の回答に差し替わっている破損が見つかった。当該回は無効とし、取り直しはしていない。破損のあとに取り直した回を採用するかどうかで、実際に順位判定の結果が変わることを確認した——取り直しは中立な操作ではない。そう判断し、n=19のまま公開する。

適用範囲:本レポートが対象とするのは、推薦型クエリ(「京都 着物レンタル おすすめ」のように、候補を尋ねる質問)に対する回答のみである。特定の店舗同士を比べる質問、予約や購入に直結する質問、店名を指名した質問など、異なる検索意図では引用元が変わる可能性がある。

本調査の対象はChatGPT・単一観測者・単一実行地という条件に限定される。結果をそのまま他の生成AIや異なる実行条件へ一般化することはできない。第0号との対応関係についての説明は、観測されたパターンと整合する仮説的な解釈にとどまり、因果関係を立証したものではない。

8. 付録・データ(Appendix / Data)

本記事は、個人による調査・情報共有プロジェクトであり、特定の団体・大学・企業等とは関係ありません。データはCC BY 4.0で無償公開しており、販売は行いません。

Top