El documento robots.txt es una herramienta esencial para cualquier sitio que desea ser bien indexada por los motores de búsqueda como Bing. Sirve como una mapa para los bots, indicándoles qué https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html