# ============================================
# QUEM PODE RASTREAR O QUE
# ============================================
# Um grupo so, valendo para todo robo. Ate 05/10/2026 o Bingbot e cada robo de IA tinham
# grupo proprio, so com "Allow: /". Pela regra do robots.txt (RFC 9309), o robo que acha um
# grupo com o proprio nome segue SO aquele grupo e ignora o "User-agent: *": o Bingbot, o
# GPTBot e os demais nunca leram os Disallow abaixo e gastavam rastreamento justamente nas
# URLs que eles existem para poupar. No grupo unico os nomes continuam explicitos (a
# permissao segue clara para quem le) e as regras valem para todos.
#
# Dentro do grupo nao entra linha em branco nem comentario: leitor antigo trata linha em
# branco como fim do grupo, e o Disallow que viesse depois ficaria sem dono. Os Disallow vem
# antes do Allow para o leitor que decide pela primeira regra que casa; Google e Bing
# decidem pela regra mais longa, e para eles a ordem nao muda nada.
#
# O que cada Disallow cobre:
#   /api/ ............. nao ha API neste dominio (ela mora em api.monely.app).
#   /blog/tags/, /blog/categories/, /blog/categorias/: URLs do blog sem prefixo de idioma,
#     de versoes antigas, que o nginx ja manda com 301 para /blog/pt/. Bloquear poupa
#     rastreamento em URL fantasma.
#
# O que NAO se bloqueia aqui, de proposito: paginas paginadas, indices de taxonomias e tags
# de cada idioma (/blog/<idioma>/tags/...) saem do indice pela meta noindex do HTML do Hugo
# (baseof.html). Bloquear no robots.txt impede o buscador de LER o noindex, o que cria URLs
# "indexadas sem conteudo" e gera relatorios confusos no Search Console. Tambem ficam livres
# /c/, /r/, /g/ e /t/ (links de indicacao, convite de grupo e chamado de suporte): servem a
# home com canonical para /en/, o que ja consolida a URL; bloquear tiraria a previa do link
# no X e no LinkedIn, cujos robos obedecem a este arquivo.
#
# Quem e cada nome do grupo:
#   OpenAI: GPTBot (treino), OAI-SearchBot (busca do ChatGPT), ChatGPT-User (pedido do usuario)
#   Anthropic: ClaudeBot, Claude-User, Claude-SearchBot; Claude-Web e anthropic-ai sao tokens
#     antigos, mantidos porque nao custam nada e cobrem clientes desatualizados
#   Google: Google-Extended controla uso em treino e nao e rastreador (o Googlebot cai no
#     curinga); Google-CloudVertexBot atende agentes na Vertex
#   Perplexity: PerplexityBot e Perplexity-User (busca a pagina quando o usuario pergunta)
#   Mistral: MistralAI-User
#   Microsoft: Bingbot (Bing e Copilot)
#   Amazon: Amazonbot (Alexa AI)
#   Apple: Applebot e o rastreador; Applebot-Extended controla uso em treino
#   Meta: Meta-ExternalAgent e Meta-ExternalFetcher (busca a pagina quando o usuario pergunta)
#   ByteDance: Bytespider; Common Crawl: CCBot; Cohere: cohere-ai; You.com: YouBot
#   DuckDuckGo: DuckDuckBot; Diffbot: Knowledge Graph; Allen Institute for AI: Ai2Bot
#   ImagesiftBot: AI image understanding

User-agent: *
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Google-CloudVertexBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Bingbot
User-agent: Amazonbot
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: Bytespider
User-agent: CCBot
User-agent: cohere-ai
User-agent: YouBot
User-agent: DuckDuckBot
User-agent: Diffbot
User-agent: Ai2Bot
User-agent: ImagesiftBot
Disallow: /api/
Disallow: /blog/tags/
Disallow: /blog/categories/
Disallow: /blog/categorias/
Allow: /

# ============================================
# SITEMAPS
# ============================================

Sitemap: https://monely.app/sitemap.xml
Sitemap: https://monely.app/blog/sitemap.xml

# ============================================
# LLMs.txt — Informacoes para Agentes de IA
# ============================================
# Resumo: https://monely.app/llms.txt
# Completo: https://monely.app/llms-full.txt
# Plugin IA: https://monely.app/.well-known/ai-plugin.json
# O que o app faz, pagina canonica em 8 idiomas: https://monely.app/en/features.html
# (troque /en/ por pt, es, fr, de, id, tr ou hi)

# ============================================
# FEEDS RSS (um por idioma)
# ============================================
# https://monely.app/blog/pt/index.xml
# https://monely.app/blog/en/index.xml
# https://monely.app/blog/es/index.xml
# https://monely.app/blog/fr/index.xml
# https://monely.app/blog/de/index.xml
# https://monely.app/blog/id/index.xml
# https://monely.app/blog/tr/index.xml
# https://monely.app/blog/hi/index.xml