Ahora, Crear archivo robots.txt en el directorio raíz de copia anterior texto y pegarlo en el archivo de texto..
Robots.txt es un archivo que se encuentra en la raíz de un sitio e indica a qué partes no quieres que accedan los rastreadores de los motores de búsqueda.
Con esta herramienta, puedes crear o editar fácilmente el fichero robots.txt de tu sitio.