Spesso si è difronte un piccolo problemino durante la stesura del file robots.txt, ossia consentire delle pagine del blog esclusivamente al Googlebot.
Per fare ciò avremo le seguenti righe di codice nel file robots.txt:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /cgi-bin/ User-Agent: Googlebot Allow: /wp-admin/ |
Ad esempio questo spezzone di codice nel robots.txt esclude dai tutti i bot le directory wp-admin, wp-includes, wp-content e cgi-bin e consente esclusivamente allo spider di Google l’accesso alla directory /wp-admin/, che ci è espressamente richiesta da Google specialmente se utilizziamo i suoi Strumenti per WebMaster.
