# All robots will spider the domain User-agent: * Disallow: # Prohibido el directorio /cgi-bin/ User-agent: * Disallow: /cgi-bin/ # Prohibido el directorio /Applets/ User-agent: * Disallow: /Applets/ # Prohibido el directorio /awstats-icons/ User-agent: * Disallow: /awstats-icons/ # Prohibido el directorio /graficos/ User-agent: * Disallow: /graficos/ # Prohibido el directorio /images/ User-agent: * Disallow: /images/ Disallow: /email-addresses/ # Prohibido el directorio /archivos/videos User-agent: * Disallow: /archivos/videos/