RIMONOA DATA · Detection Dictionary
AI crawler User-Agent辞書
GPTBot、ClaudeBot、PerplexityBot、Meta系などを「何のために取得するBotか」で整理した公開辞書です。 ここに載せる検知トークンは、リモノアのAIクローラー観測所と同じ定義を使っています。
最終確認: 2026-10-07 / 更新監視: 毎日 / 本番辞書への追加: レビュー承認後
登録トークン
24
実観測の判定に使用
AI crawler
19
AI関連取得として分類
検索比較
5
Googlebot等の比較対象
公式確認済
23
公開一次ソースで確認
Daily Registry Monitor
新しいAI crawlerを毎日監視
主要ベンダーの公式ドキュメントと複数の公開crawlerレジストリを毎日確認し、未登録のUser-Agent候補や公式仕様の変化を検出します。 公式ソースで見つかった候補を最優先し、複数のコミュニティソースで一致した候補、そのほか単独報告の候補を分けて扱います。
公式ソース
新しいBot名や仕様差分を高信頼候補として検出します。
複数レジストリ一致
新興サービスは2つ以上の公開ソースで一致すると優先度を上げます。
人間承認ゲート
候補は常設のレビューPRへ。本番の検知辞書にはレビューなしで追加しません。
User-Agent一致 = 正規Bot確認、ではありません
User-Agentは任意に名乗れるため偽装できます。リモノアの観測値は「このUser-Agentを名乗ったHTTPリクエスト」の記録です。 OpenAI・Perplexity・DuckDuckGoなど公式IP情報があるBotは下表から検証先も参照できますが、現状の公開観測値はUA一致だけで運営者帰属を100%保証していません。
Purpose Taxonomy
リモノアでの用途分類
Training
学習・収集
モデル改善向けの収集。ただし到達だけで実際の学習採用は断定しません。
Search Index
AI検索・索引
検索・回答候補を発見し、インデックスや引用候補を作るための巡回。
User Fetch
ユーザー起点
質問・URL入力・エージェント操作など、人の操作をきっかけにした取得。
Other
分類保留
用途が複数、または一次ソースだけでは一意に断定しにくいもの。
User-Agent Registry
検知トークン一覧
更新日 2026-10-07
バージョン番号を含む完全なUA文字列は将来変わり得るため、実装では各社が案内するBot名をmatch tokenとして大文字小文字を区別せず照合します。
| Provider / Token | 種別・用途 | robots.txt | 根拠 / 検証 |
|---|---|---|---|
OpenAI OAI-SearchBotChatGPT Searchの検索結果にWebページを表示するための検索クローラー。 | AI crawler AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
OpenAI GPTBotOpenAIの生成AI基盤モデル改善に利用される可能性があるコンテンツを収集するクローラー。 | AI crawler 学習・収集 Training | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
OpenAI ChatGPT-UserChatGPTやCustom GPTで、ユーザー操作を起点にWebページを取得するUser-Agent。 | AI crawler ユーザー起点 User Fetch | ユーザー起点・例外あり | 公式確認済 確認 2026-10-07 |
Anthropic Claude-SearchBotClaudeの検索体験でWebコンテンツを発見・参照するための検索クローラー。 | AI crawler AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Anthropic ClaudeBotAnthropicのモデル改善に利用される可能性がある公開Webコンテンツを収集するクローラー。 | AI crawler 学習・収集 Training | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Anthropic Claude-UserClaudeユーザーの操作を起点に、その場でWebページを取得するUser-Agent。 | AI crawler ユーザー起点 User Fetch | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Perplexity PerplexityBotPerplexityの検索結果でWebサイトを発見・リンクするためのクローラー。基盤モデル学習用ではないと公式説明されています。 | AI crawler AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Perplexity Perplexity-UserPerplexityユーザーの操作を起点にWebページを取得するUser-Agent。 | AI crawler ユーザー起点 User Fetch | ユーザー起点・例外あり | 公式確認済 確認 2026-10-07 |
Mistral AI MistralAI-TrainingMistralの生成AIモデル学習用データセットを構築するためにWebコンテンツを収集するクローラー。 | AI crawler 学習・収集 Training | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Mistral AI MistralAI-IndexMistral Search / Vibeの回答用インデックスを構築するクローラー。公式説明では生成AI学習には使用しません。 | AI crawler AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Mistral AI MistralAI-UserVibeユーザーの質問を起点に、その場でWebページを取得するUser-Agent。自動巡回や生成AI学習には使わないと公式説明されています。 | AI crawler ユーザー起点 User Fetch | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Meta Meta-WebIndexerMeta AIの検索品質や回答中のリンク・引用を改善するためのWebインデクサー。 | AI crawler AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Meta Meta-ExternalFetcherユーザーのリンク操作やMeta AIのエージェント機能などを起点に外部ページを取得するUser-Agent。 | AI crawler ユーザー起点 User Fetch | ユーザー起点・例外あり | 公式確認済 確認 2026-10-07 |
Meta Meta-ExternalAgentMetaの生成AIモデル改善やAI製品のWebコンテンツ取得に使われる外部クローラー。 用途はモデル改善だけでなく製品機能向けの取得も含むため、アクセス単体から実際の学習採用を断定できません。 | AI crawler 学習・収集 Training | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Google-CloudVertexBotサイト所有者がVertex AI Agentsを構築するときに要求されるWebクロール。 | AI crawler 分類保留 Other | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Amazon AmazonbotAmazonの製品・サービス改善に使われる汎用クローラー。取得データがAIモデル学習に利用される可能性も公式に示されています。 用途が複数あるため、リモノアではTrainingへ断定せずOtherに分類します。 | AI crawler 分類保留 Other | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Amazon Amzn-SearchBotAmazonの検索体験を改善するための検索クローラー。生成AIモデル学習には使わないと公式説明されているため、リモノアではAI生アクセスではなく検索比較側に分類します。 | 検索比較 AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Amazon Amzn-UserAlexaなどのユーザー操作を起点にWebページを取得するUser-Agent。生成AIモデル学習には使わないと公式説明されています。 | AI crawler ユーザー起点 User Fetch | ユーザー起点・例外あり | 公式確認済 確認 2026-10-07 |
DuckDuckGo DuckAssistBotDuckDuckGoのAI支援回答で、引用付きの最新情報を提供するためのクローラー。AIモデル学習には使わないと公式説明されています。 | AI crawler AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
ByteDance BytespiderByteDance系として広く識別されるクローラー。リモノアでは既存観測との連続性のため検知を継続します。 2026-10-07時点で用途を裏づける公開一次ソースを確認できていないため、raw purposeは既存互換でtrainingを維持しつつ、公開集計ではOtherとして扱います。 | AI crawler 分類保留 Other | 未確認 | 一次ソース未確認 公式公開ソース未確認 確認 2026-10-07 |
GooglebotGoogle Searchのインデックス作成に使われる標準検索クローラー。 | 検索比較 AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Microsoft Bing bingbotBing Searchのインデックス作成に使われる標準検索クローラー。 | 検索比較 AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Apple ApplebotSpotlight・Siri・SafariなどAppleの検索機能で使われるWebクローラー。 AppleはApplebotでクロールしたデータを基盤モデル学習に利用する場合があると説明しており、学習利用はApplebot-Extendedで制御できます。 | 検索比較 AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
DuckDuckGo DuckDuckBotDuckDuckGoの通常検索結果を改善するためのWebクローラー。 | 検索比較 AI検索・索引 Search Index | robots.txt 対応 | 公式確認済 確認 2026-10-07 |
Not an HTTP User-Agent
robots.txt専用の制御トークンは別扱い
次の名称は重要ですが、独立したHTTP User-Agentではありません。そのためアクセスログで「このBotが来た」と検知する辞書には混ぜていません。
Google-ExtendedGoogleGemini等の生成AI用途を制御するrobots.txtトークン。独立したHTTP User-Agentではないため、アクセスログ検知対象にはできません。
公式ドキュメント ↗研究・実装で使う場合
JSON版はBot名・provider・用途分類・公式ドキュメントURL・検証先を機械可読で公開しています。 引用する場合は、仕様変更を追跡できるようこの辞書ページを原典としてリンクしてください。
出典：リモノア「AI crawler User-Agent辞書」 https://rimonoa.jp/labs/ai-crawler/user-agent-dictionary