# 53ON · robots.txt
#
# El mapa de todos los negocios (se rehace solo al publicar):
Sitemap: https://53on.com/sitemap.xml
# Y el de los PRODUCTOS de cada tienda (un fichero por tienda, se rehace cuando cambia su catalogo):
Sitemap: https://53on.com/sitemap-stores.xml
#
# UN solo fichero sirve a los SEIS dominios (mismo Apache).
#
# LA REGLA: 53ON no es un archivo de contenido, es un directorio de negocios locales
# que QUIEREN ser encontrados. Por eso NO cerramos la puerta: la separamos en dos.
#   · Quien nos LEE PARA RESPONDER y manda gente al negocio  -> PASA
#   · Quien solo se lleva el catalogo para ENTRENAR y no devuelve nada -> NO
# Al añadir un bot nuevo, la pregunta es esa y no otra: ¿le trae un cliente al provider?

# ── Buscadores clasicos ──────────────────────────────────────────────
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Applebot
Allow: /

# ── IA que RESPONDE y nos manda gente: bienvenidos ───────────────────
# Los *-User actuan por encargo de una persona concreta: ese es el cliente
# que queremos que llegue a la tienda del provider.
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Extended
Allow: /

# ── El corpus comun: CCBot PASA (decision Ramon 21-ago) ─────────────
# Common Crawl alimenta el corpus con que se entrenan los modelos que vienen.
# Wix, Shopify y Etsy lo dejan pasar; Yelp y TripAdvisor lo bloquean porque su
# dato ES su producto. Nosotros somos plataforma: nuestros negocios QUIEREN
# existir dentro de los modelos futuros. El 95% bloquea -> pasar ya diferencia.
User-agent: CCBot
Allow: /

# ── IA que solo ENTRENA (privada, no cita, no devuelve): no ─────────
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: omgili
Disallow: /

# ── Señal legible por maquina (contentsignals.org) ───────────────────
# Lo mismo que dicen las reglas de arriba, en una linea que el bot puede
# PARSEAR en vez de interpretar. Lo ponemos NOSOTROS y no el panel de
# Cloudflare a proposito: asi viaja con el fichero y cada dominio de
# cliente nuevo la hereda sin que nadie toque una consola.
#   search   = indexar y devolver enlaces y extractos      -> SI
#   ai-input = usar el contenido para responder en vivo    -> SI (asi nos citan)
#   ai-train = entrenar o afinar un modelo con esto        -> NO
Content-Signal: search=yes, ai-input=yes, ai-train=no

# ── Todo lo demas: pasa ──────────────────────────────────────────────
User-agent: *
Disallow: