Robot.txt

Volgens een melding bij Google kan hij sommige pagina's niet goed indexeren.
Er blijkt dat in het bestand robots.txt in ons forum een aantal malen "disallow" staat. Hoe kunnen we dit tekstbestand aanpassen?

vriendelijke groet,
Foxy
Slytherin78 hier - Je mag geen reclame maken in overige topics, enkel in het promotings gedeelte.

Heb mijn onderschrift aangepast, sorry, wist niet dat dit niet mocht
Omdat er nog geen reactie op mijn vraag was, had ik deze topic nog niet opnieuw geopend, anders had ik hem al eerder aangepast.
Ik hoop dat deze wel binnen de marges valt.
Stuur mij anders even een pm.

Misschien dat nu bovenstaande vraag nu wel beantwoord kan worden??

Groet,
Foxy

Je kunt het robots.txt-bestand niet aanpassen, je hebt namelijk geen toegang tot de FTP-server.

Bedankt voor het antwoord, maar daar waren we al achter gekomen.
Onze vraag is: Hoe komt het disallow er dan te staan, en hoe kan dit weggehaald worden zodat de googlebot wel overal toegang heeft?

Vr. gr.
Arie

Bij welke mappen/bestanden staat disallow?
Je kunt dit niet veranderen, omdat het in het robots.txt-bestand staat dat je dus niet kunt aanpassen.

Ik krijg de volgende melding:
URL's beperkt door robots.txt (173) |

http://seasons.actieforum.com/De-Lente-f53/De-Lente-p192.htm URL beperkt door robots.txt [?] 22-jan-2008
http://seasons.actieforum.com/De-Winter-f28/De-Winter-p190.htm URL beperkt door robots.txt [?] 22-jan-2008
http://seasons.actieforum.com/Drama-Romantiek-f36/Drama-Romantiek-p137.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/Drama-Romantiek-f36/Drama-Romantiek-p331.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/Luisterboeken-f45/Luisterboeken-p207.htm URL beperkt door robots.txt [?] 18-jan-2008
http://seasons.actieforum.com/MP3-Reli...uur-f42/MP3-Religie-en-Cultuur-p162.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/MP3-Reli...uur-f42/MP3-Religie-en-Cultuur-p317.htm URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/Misdaad-Avontuur-f35/Misdaad-Avontuur-p257.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/Muziek-MP3-f25/Muziek-MP3-p288.htm URL beperkt door robots.txt [?] 18-jan-2008
http://seasons.actieforum.com/Muziek-MP3-f25/Muziek-MP3-p334.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/Overige-f23/Overige-p273.htm URL beperkt door robots.txt [?] 17-jan-2008
http://seasons.actieforum.com/Overige-f23/Overige-p303.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/Valentijn-f47/Valentijn-p310.htm URL beperkt door robots.txt [?] 22-jan-2008
http://seasons.actieforum.com/Winter-Kookschrift-f29/Winter-Kookschrift-p78.htm URL beperkt door robots.txt [?] 22-jan-2008
http://seasons.actieforum.com/Winter-f24/Winter-p194.htm URL beperkt door robots.txt [?] 17-jan-2008
http://seasons.actieforum.com/Winter-f26/Winter-p193.htm URL beperkt door robots.txt [?] 17-jan-2008
http://seasons.actieforum.com/actie-thriller-etc-f19/ URL beperkt door robots.txt [?] 17-jan-2008
http://seasons.actieforum.com/actie-th...he-devil-knows-youre-dead-2007-t153.htm URL beperkt door robots.txt [?] 13-jan-2008
http://seasons.actieforum.com/actie-thriller-etc-f19/beowulf-2007-pal-t279.htm URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/actie-thriller-etc-f19/eight-below-2006-t203.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/actie-thriller-etc-f19/i-am-legend-2007-t240.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/actie-thriller-etc-f19/joshua-2007-t242.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/actie-th...e-caribbean-at-worlds-end-2007-t195.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/actie-thriller-etc-f19/the-brave-one-2007-t160.htm URL beperkt door robots.txt [?] 13-jan-2008
http://seasons.actieforum.com/binnenkort-verwacht-f37/ URL beperkt door robots.txt [?] 16-jan-2008
http://seasons.actieforum.com/christmas-season-f1/ URL beperkt door robots.txt [?] 12-jan-2008
http://seasons.actieforum.com/creatief-f3/ URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/creatief-f3/creatief-kerstbal-t7.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/de-herfst-f55/ URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/de-kerst-keuken-f7/ URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/de-keuken-f7/ URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/de-lente-f53/ URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/de-winter-f28/ URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/de-winter-f28/vogels-in-de-winter-t167.htm URL beperkt door robots.txt [?] 22-jan-2008
http://seasons.actieforum.com/de-zomer-f54/ URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/decoraties-f5/ URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/decorati...kegels-beplakt-met-berkenschors-t14.htm URL beperkt door robots.txt [?] 12-jan-2008
http://seasons.actieforum.com/decoraties-f5/kerststuk-tafelstuk-t13.htm URL beperkt door robots.txt [?] 15-jan-2008
http://seasons.actieforum.com/decoraties-f5/maak-een-unieke-kerstboom-t9.htm URL beperkt door robots.txt [?] 15-jan-2008
http://seasons.actieforum.com/documentaire-etc-f30/ URL beperkt door robots.txt [?] 17-jan-2008
http://seasons.actieforum.com/document...het-wonder-van-een-nieuw-leven-t245.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/documentaire-etc-f30/sicko-2007-t184.htm URL beperkt door robots.txt [?] 13-jan-2008
http://seasons.actieforum.com/document...-elegant-universe-1-en-2-dvd-9-t244.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/documentaire-etc-f30/the-secret-t243.htm URL beperkt door robots.txt [?] 18-jan-2008
http://seasons.actieforum.com/drama-romantiek-f36/ URL beperkt door robots.txt [?] 16-jan-2008
http://seasons.actieforum.com/drama-ro...6/alvin-and-the-chipmunks-2007-t127.htm URL beperkt door robots.txt [?] 13-jan-2008
http://seasons.actieforum.com/drama-romantiek-f36/babel-2006-t288.htm URL beperkt door robots.txt [?] 20-jan-2008
http://seasons.actieforum.com/drama-ro...k-f36/the-ron-clark-story-2006-t116.htm URL beperkt door robots.txt [?] 19-jan-2008
http://seasons.actieforum.com/enternaiment-f4/ URL beperkt door robots.txt [?] 21-jan-2008
http://seasons.actieforum.com/enternaiment-f4/kerstmuziek-glad-t19.htm URL beperkt door robots.txt [?] 20-jan-2008

Misschien dat jullie hier meer aan hebben.

Groet,
foxy

Voor al deze onderdelen moet je inloggen, daarom kan de googlebot er ook niet bij.

Dus alle sites waar je moet inloggen, hebben hier problemen mee?
Of zijn alle "eigen sites" (waar men dus zelf zijn robots.txt zou kunnen uploaden) zo ingesteld dat ze googlebot toestemming kunnen geven om beveiligde gedeelten van hun site te doorzoeken??

Als dit zo is, kunnen jullie dan wel robots.txt aanpassen?

Groeten,
Foxy

De googlebot kan alleen komen waar "gasten" (niet-leden dus) ook kunnen komen. Het is dus voor googlebots onmogelijk om beschermde gedeelten te indexeren, ook zonder robots.txt (dan zou namelijk telkens de inlogpagina worden geïndexeerd).

Als je wil dat je forum geindexeerd wordt van top tot teen zul je gasten toestemming moeten geven om overal te kunnen posten, en dat lijkt me een slecht idee
Ik heb juist alles afgeschermd van googlebots om mijn privacy policy beloftes na te komen aan alle designers van me forum

Ok, de antwoorden zijn voor mij duidelijk.

Toppie werk van de beheerders hier met betrekking tot de antwoorden.
Ga zo door!!!!!

Wat mij betreft kan deze topic gesloten worden.

Groet,
Foxy

QATC