Robots.txt Generator

Robots.txt Generator

Default - Todos los robots son:	animales No contesta
Crawl-Delay:	Default - Sin demora 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
mapa del sitio: (dejar en blanco si no tiene)
Buscar Robots:	Google	Lo mismo que por defecto animales No contesta
	Google Image	Lo mismo que por defecto animales No contesta
	Google Mobile	Lo mismo que por defecto animales No contesta
	MSN Search	Lo mismo que por defecto animales No contesta
	Yahoo	Lo mismo que por defecto animales No contesta
	Yahoo MM	Lo mismo que por defecto animales No contesta
	Yahoo Blogs	Lo mismo que por defecto animales No contesta
	Ask/Teoma	Lo mismo que por defecto animales No contesta
	GigaBlast	Lo mismo que por defecto animales No contesta
	DMOZ Checker	Lo mismo que por defecto animales No contesta
	Nutch	Lo mismo que por defecto animales No contesta
	Alexa/Wayback	Lo mismo que por defecto animales No contesta
	Baidu	Lo mismo que por defecto animales No contesta
	Naver	Lo mismo que por defecto animales No contesta
	MSN PicSearch	Lo mismo que por defecto animales No contesta
Directorios restringidos:	La ruta es relativa a la raíz y debe contener una barra diagonal "/"

Ahora, Crear archivo robots.txt en el directorio raíz de copia anterior texto y pegarlo en el archivo de texto..

Acerca de Robots.txt Generator

Robots.txt es un archivo que se encuentra en la raíz de un sitio e indica a qué partes no quieres que accedan los rastreadores de los motores de búsqueda.

Con esta herramienta, puedes crear o editar fácilmente el fichero robots.txt de tu sitio.