User-agent: ia_archiver Disallow: / User-agent: * Disallow: /crypt/ Disallow: /nolink.htm Disallow: /noclickorban.htm Disallow: /fr/nolink.htm Disallow: /fr/noclickorban.htm