Commenti a: WordPress e il Robots.txt

Di: Francesco Loddo

Francesco Loddo — Mon, 23 May 2011 17:08:48 +0000

Prego, io non avevo trovato nulla nel web e dopo un attento studio sul funzionamento del robots.txt ho trovato questa soluzione!
A presto!

Di: Mutui e Prestiti Inpdap

Mutui e Prestiti Inpdap — Mon, 23 May 2011 15:58:53 +0000

Ciao Francesco,
grazie per l’utilissimo file, era proprio quello che stavo cercando!
Grazie

Di: Francesco Loddo

Francesco Loddo — Mon, 07 Feb 2011 14:26:20 +0000

Ciao Davide,
perché in questo modo indico al bot di non seguire tutta la directory comprese le sottocartelle e i file.

Di: Davide

Davide — Mon, 07 Feb 2011 13:19:32 +0000

Ciao, come mai non hai messo lo slash dopo wp-content, wp-admin ecc.???

Saluti

Di: Technotizie.it

Technotizie.it — Tue, 03 Nov 2009 11:52:40 +0000

Come editare il file robots.txt per wordpress…

Il fine ultimo di questo file, che molti sottovalutano, è quello di indicare ai motori di ricerca, quali pagine del sito dovranno subire il crawling…..

Di: Francesco Loddo

Francesco Loddo — Wed, 14 Oct 2009 14:34:10 +0000

scusa riscrivo i tag che ho saltato per sbaglio Sito normale: "< META NAME="GOOGLEBOT-MOBILE" CONTENT="NOINDEX, NOFOLLOW" > " SITO mobile "< META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW" >" senza spazi e senza le ""

Di: Francesco Loddo

Francesco Loddo — Wed, 14 Oct 2009 14:31:03 +0000

Ciao,

ho cercato qualcosa sulla rete per studiare il tuo caso, e ho letto che potresti anche usare i meta tag e per evitare la duplicazione dei contenuti del sito “normale” e del sito mobile potresti inserire rispettivamente:

SITO NORMALE:

SITO MOBILE:

http://www.google.it/support/news_pub/bin/answer.py?hl=it&answer=93977

Di: malvin

malvin — Fri, 09 Oct 2009 12:34:19 +0000

Ciao, un caso in particolare…
Per un dominio http://www.sito.it ho una versione standard di articoli e questa la faccio indicizzare da googlebot. C’è un’altra versione di questi articoli ottimizzata per il mobile.

Per non creare conflitti tag ecc. è giusto fare cosi???

2 sitemap una normale senza http://www.sito.it/mobile/
l’altra solo per il mobile scritta nel formato che vuole google.

Le pagine mobile hanno il rel canonical che linka alle pagine normali.

Un file robots.txt dove ho:

User-agent: Googlebot
Disallow: /mobile/

User-agent: Googlebot-Mobile
Allow: /mobile/

User-agent: YahooSeeker/M1A1-R2D2
Allow: /mobile/

Non sono sicuro… mi dai un consiglio.. grazie

Di: Francesco Loddo

Francesco Loddo — Tue, 07 Jul 2009 13:04:28 +0000

Il motivo è semplice il robot googlebot che si occupa di indicizzare i contenuti, non ha motivo di andare a indicizzare le immagini per evitare conflitti con

User-agent: Googlebot-Image

che invece ha accesso a tutte le directory e andrà a indicizzare solo le immagini prendendo come riferimento i title.

Un’altro motivo è stato quello di evitare che vengano indicizzati contenuti doppi generati dai tag, archivio feed rss ecc. Fammi sapere come ti sembra la mia teoria.

Per quanto riguarda la segnalazione a google webmaster della sitemap è altrettanto importante che segnarla nel robot.txt come ho fatto io.

Interessante il concorso scriverò un articolo a riguardo pomeriggio linkando alla pagina del regolamento con una breve descrizione.

Attendo sua risposta

Di: Filmissimo.it

Filmissimo.it — Tue, 07 Jul 2009 02:36:44 +0000

Come mai hai disallowato tutte quelle directory ?
Comunque è consigliabile aggiungere la sitemap anche nel Google webmaster tools ^^

P.s. Volevo segnalarti questa iniziativa per vincere un iPod Shuffle:

http://www.filmissimo.it/ipod-shuffle-in-regalo.html

ciao