Allow Googlebot

Spesso si è difronte un piccolo problemino durante la stesura del file robots.txt, ossia consentire delle pagine del blog esclusivamente al Googlebot.
Per fare ciò avremo le seguenti righe di codice nel file robots.txt:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /cgi-bin/
 
User-Agent: Googlebot
Allow: /wp-admin/

Ad esempio questo spezzone di codice nel robots.txt esclude dai tutti i bot le directory wp-admin, wp-includes, wp-content e cgi-bin e consente esclusivamente allo spider di Google l’accesso alla directory /wp-admin/, che ci è espressamente richiesta da Google specialmente se utilizziamo i suoi Strumenti per WebMaster.

Allow Googlebot ultima modidfica: 2015-01-10T19:35:07+01:00 da Gianluca Di Vincenzo
Posted in: PHP

By on 10 Gennaio 2015

Tagged: , , ,