# Última actualización: 29-05-2025 
# Definiciones para control de bots, priorización de acceso y seguridad 
# 1. Permitir acceso a bots de IA 
# ---------------------------- 
User-agent: Google-Extended # Google Gemini / Bard  
Allow: / 
User-agent: ChatGPT-User # OpenAI / ChatGPT navegador  
Allow: / 
User-agent: PerplexityBot # Perplexity.ai  
Allow: / 
User-agent: ClaudeBot # Anthropic Claude  
Allow: / 
User-agent: YouBot # You.com  
Allow: / 
User-agent: CCBot # Common Crawl, usado por modelos de IA  
Allow: / 
# ---------------------------- 
# 2. Bloquear rutas privadas, duplicadas o no relevantes 
# ---------------------------- 
User-agent: * 
Disallow: /login/
Disallow: /admin/ 
Disallow: /cache/ 
Disallow: /buscar/ 
Disallow: /intraneticex/ 
Disallow: /home-private/
Disallow: /area-privada/mi-area-privada/
# ---------------------------- 
# 3. Bloquear bots agresivos o irrelevantes 
# ---------------------------- 
User-agent: sogou spider 
Disallow: /
User-agent: Sosospider 
Disallow: /
User-agent: PetalBot 
Disallow: /
User-agent: MJ12bot 
Disallow: /
User-agent: SemrushBot-BA 
Disallow: /
User-agent: UptimeRobot 
Disallow: /
User-agent: trendictionbot0.5.0 
Disallow: /
User-agent: AhrefsBot 
Disallow: /
# ---------------------------- 
# 4. Sitemap 
# ---------------------------- 
Sitemap: https://www.icex.es/sitemap.xml