Wat betekent: url beperkt door robots.txt?

Hoihoi,

Ik ben modje van een psp (t programma, niet playstation) forum, we willen wat meer naamsbekendheid krijgen dus we hebben keywords aangemaakt, de url toegevoegd aan Google, maar nee hoor we worden niet gevonden. Nu heb ik het forum toegevoegd aan webmaster tools van Google en die komt met een crawlfout namelijk: url beperkt door Robots.txt

Heeft dit er iets mee te maken, of zit ik ergens te zoeken waar ik helemaal niet hoef te zoeken. Hoe kan je nog op een andere manier beter gevonden worden door Google, of duurt dit even en hebben we gewoon geduld nodig?

Dus eigenlijk 2 vragen:
* Die crawlfout: url beperkt door robots.txt is dat op te lossen?
* Hoe kan je beter gevonden worden op Google?

Ik heb wel enige technische kennis, maar voor mij is het toch allemaal abacadabra.

Zou fijn zijn als iemand de magische tip heeft.

1. Geen idee
2. Bij mij werkte het; als je links naar jou site op bekende website's die wél hoog in Google staan; jij er vanzelf ook op komt; hoe meer links, hoe hoger natuurlijk!

Ondertussen ben ik erachter gekomen dat het tekstbestand robots.txt er idd voor zorgt dat de pagina niet voorkomt in de zoekresultaten van Google, maar ja dat willen we juist wel!
Dus hoe kunnen we:
1. Of het tekstbestand aanpassen
2. Of het tekstbestand verwijderen

Hieronder t tekstbestand zoals ie bij ons erbij staat:

Code:

User-agent: Mediapartners-Google
Disallow:

User-agent: Mediapartners-Google*
Disallow:

User-agent: eDintorni crawler
Disallow:

User-agent: *
Disallow: /login.forum
Disallow: /modcp.forum
Disallow: /posting.forum
Disallow: /privmsg.forum
Disallow: /memberlist.forum
Disallow: /stats.htm
Disallow: /donate.forum
Disallow: /report_abuse.forum
Disallow: /contact.forum
Disallow: /go/

User-agent: Alexibot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: ConveraCrawler
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: humanlinks
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: Jetbot
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: moget
User-agent: moget/2.1
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetAttache Light 1.1
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: Openfind data gathere
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RMA
User-agent: SiteSnagger
User-agent: SpankBot
User-agent: spanner
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: URLy Warning
User-agent: VCI
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu's
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Zeus
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-Agent: MJ12bot
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: TurnitinBot
User-agent: QuepasaCreep
Disallow: /


Hellup!

sorry, daar heb ik helaas geen verstand van.

Wanneer is het forum aangemaakt? Ik had een forum die na verloop van tijd wel in de zoekresultaten staat.

Het forum is begin januari(!!) aangemaakt, dan zou je toch verwachten dat t ondertussen in de zoekresultaten staat?

Het is alleen te vinden als je specifiek op de naam van het forum zoekt, terwijl wij toch graag zouden zien dat het al tevoorschijn komt als je 'psp forum' intikt in bv Google. We zijn raar genoeg wel te vinden bij Yahoo, maar ja Google wordt natuurlijk vele malen vaker gebruikt

We hebben ook niet echt het idee dat onze keywords nou zo anders zijn dan de andere fora die er rondzwerven.

Mischien dat iemand anders dan een tip heeft... maar bedenk wel dat er heel veel pain shop forums zijn, dus dan is het zoeken naar je eigen forum link als die er tussen staat.

Dit robots.txt-bestand blokkeert alleen pagina's waar zoekbots sowieso niets te zoeken hebben. Alle andere pagina's kunnen wel worden geïndexeerd, waaronder de indexpagina, de forumoverzichten en de topics. Dat je slecht vindbaar bent ligt naar mijn idee vooral aan het feit dat er weinig relevante informatie op je forum staat. Naarmate je forum groeit zul je vanzelf beter vindbaar zijn. Verwacht echter niet dat je op korte termijn op pagina één staat bij Google.