# =============================================================
# robots.txt — raluy.com (Circo Raluy Histórico)
# VARIANTE ESPECÍFICA. NO es el fichero universal del fleet.
#
# Política: acceso ABIERTO a motores de IA (search + retrieval +
# entrenamiento). Decisión de negocio tomada por el cliente en
# agosto de 2026 para recuperar presencia en respuestas de IA.
#
# Divergencia respecto al robots.txt universal del fleet:
#   - Eliminada la sección "Bots de IA / LLM — BLOQUEO TOTAL".
#   - Content-Signal invertido: ai-input=yes, ai-train=yes.
#   - Corregido el segundo grupo duplicado "User-agent: *".
#
# El control de bots basura sigue en .htaccess (Bloque Base Alex v1.3),
# igual que el cierre del REST API.
# Sitemap: NO declarado aquí (se envía por Search Console).
# =============================================================

# -------------------------------------------------------------
# 1. Reglas estándar WordPress
#    Aplica a TODOS los agentes, incluidos los de IA.
#    NO se bloquea /wp-content/plugins/ ni /wp-includes/:
#    los renderizadores necesitan esos recursos.
# -------------------------------------------------------------
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /*/trackback/$
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=
Disallow: /comments/feed/

# Content-Signals — INVERTIDO respecto al fleet universal.
# Declara que el contenido SÍ puede usarse como input de IA y
# para entrenamiento. Debe ir dentro de este grupo, no suelto
# al final del fichero (heredaría el último User-agent leído).
Content-Signal: search=yes, ai-input=yes, ai-train=yes

# Recursos necesarios para renderizado (explícito, por claridad)
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /wp-includes/js/
Allow: /wp-includes/css/

# WooCommerce — activar cuando se despliegue /tienda/
# Disallow: /carrito/
# Disallow: /checkout/
# Disallow: /mi-cuenta/
# Disallow: /*add-to-cart=*
# Disallow: /*?orderby=
# Disallow: /*?filter_*

# -------------------------------------------------------------
# 2. Motores de IA — ACCESO EXPLÍCITO
#
#    Redundante con "User-agent: *" (que ya los permite), pero
#    declarado de forma expresa por tres motivos:
#      a) documenta la decisión ante el cliente,
#      b) evita que una futura edición del fichero universal
#         los vuelva a bloquear por descuido,
#      c) algunos operadores priorizan el grupo específico.
# -------------------------------------------------------------

# --- OpenAI ---
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

# --- Anthropic ---
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

# --- Google (Gemini / Vertex / NotebookLM) ---
# Googlebot no se declara: ya alimenta AI Overviews y AI Mode
# desde el grupo genérico. NUNCA bloquearlo.
User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-CloudVertexBot
Allow: /

User-agent: Google-NotebookLM
Allow: /

# --- Perplexity ---
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# --- Apple ---
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# --- Microsoft / Copilot ---
User-agent: bingbot
Allow: /

# --- Otros motores con cuota relevante ---
User-agent: Amazonbot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: YouBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: AI2Bot
Allow: /

# --- xAI / Grok ---
# Declarados por si algún día xAI usa los UA que documenta.
# En la práctica no los envía de forma consistente.
User-agent: GrokBot
Allow: /

User-agent: xAI-Grok
Allow: /

User-agent: Grok-DeepSearch
Allow: /

# -------------------------------------------------------------
# 3. Bots sin valor para el proyecto
#    Bytespider ignora robots.txt: el bloqueo efectivo está en
#    .htaccess. Aquí queda solo la declaración de intención.
# -------------------------------------------------------------
User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: Scrapy
Disallow: /