# 东莞市美彦环保科技有限公司 - 搜索引擎抓取许可
# 主域: https://fogmy.cn ｜ 分站: *.fogmy.cn（城市雾森/驱蚊）

# 所有搜索引擎：允许抓取全站页面
User-agent: *
Disallow: /admin/
Disallow: /admin
Disallow: /api/
Disallow: /lang/
Disallow: /uploads/editor/
Allow: /

# 百度（重点收录）
User-agent: Baiduspider
Allow: /

# 360
User-agent: 360Spider
Allow: /

# 搜狗
User-agent: Sogou web spider
Allow: /

# 必应
User-agent: Bingbot
Allow: /

# 谷歌
User-agent: Googlebot
Allow: /

# 今日头条/UC/神马
User-agent: ToutiaoSpider
Allow: /
User-agent: YisouSpider
Allow: /

# AI 搜索引擎 / 大模型爬虫（AI 收录 · GEO）
User-agent: Bytespider
Allow: /
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: cohere-ai
Allow: /
User-agent: anthropic-ai
Allow: /
# 2026 新增 AI 爬虫:ChatGPT 图片抓取 / Meta AI / 亚马逊 Rufus / Apple 情报
User-agent: ImageBot
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: Applebot
Allow: /
# 海外与国产新势力 AI 爬虫(xAI Grok / Mistral / DeepSeek / Kimi / Common Crawl / DuckDuckGo AI / Yandex)
User-agent: GrokBot
Allow: /
User-agent: xAI-User
Allow: /
User-agent: MistralAI-User
Allow: /
User-agent: MistralAIBot
Allow: /
User-agent: DeepSeekBot
Allow: /
User-agent: MoonshotBot
Allow: /

# ===== AI 助手专项放行：元宝 / Kimi / 千问 / DeepSeek =====
# 这四家是当前中文用户量最大的 AI 助手，显式放行 + 指向 sitemap，让它们能抓、敢抓。
# Kimi（月之暗面）官方三个爬虫，2025 起启用：
#   KimiBot=训练 ｜ Kimi-SearchBot=Kimi 搜索索引（禁它=站点不进 Kimi 搜索结果）
#   Kimi-User=用户在 Kimi 里提问时的实时抓取
User-agent: KimiBot
Allow: /
User-agent: Kimi-SearchBot
Allow: /
User-agent: Kimi-User
Allow: /
# 千问 / 通义（阿里）
User-agent: QwenBot
Allow: /
User-agent: Qwen-User
Allow: /
User-agent: TongyiBot
Allow: /
# 元宝（腾讯）：元宝的搜索底座是搜狗，另加腾讯自有爬虫
User-agent: YuanbaoBot
Allow: /
User-agent: TencentSpider
Allow: /
User-agent: Tencent_Search_Spider
Allow: /
User-agent: SogouSpider
Allow: /
# DeepSeek：DeepSeekBot 抓取 + DeepSeek-User 用户在 DeepSeek 里提问时的实时抓取
User-agent: DeepSeek-User
Allow: /
User-agent: CCBot
Allow: /
User-agent: DuckAssistBot
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: YandexBot
Allow: /


# 中文搜索补充（神马/UC、华为花瓣、搜狗图片、头条搜索）
User-agent: ShenmaSpider
Allow: /
User-agent: PetalBot
Allow: /
User-agent: Sogou Pic Spider
Allow: /
User-agent: ToutiaoSpider
Allow: /
User-agent: bingbot
Allow: /
# 站点地图
Sitemap: https://fogmy.cn/sitemap.xml
# 城市长尾服务站（豆包/头条搜索专用，仅对字节系爬虫开放）
Sitemap: https://so.fogmy.cn/sitemap.xml