Een Forbidden-melding bij bezoek website

Hier vind je nieuws over updates met betrekking tot de website. Ook kun je hier suggesties plaatsen.
Gebruikersavatar
nirwana
Beheerder
Berichten: 11180
Lid geworden op: 19 September 2003, 5:09
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:16.0) Gecko/20121026 Firefox/16.0

Een Forbidden-melding bij bezoek website

Berichtdoor nirwana » 13 November 2012, 16:42

Hallo,

Als iemand vanochtend de website heeft proberen te bezoeken, dan resulteerde dat helaas in een Forbidden-melding.

Na enig zoeken bleek dat de website veelvuldig werd bezocht door bepaalde search-bots (spiders / crawlers). Daarmee had de website het zo druk dat er weinig anders meer mee gedaan kon worden. Aangezien de zoekopdrachten vanaf verschillende IP-adressen afkomstig waren kon niet eenvoudig 1 specifiek adres geblokkeerd worden. Daarom is tijdelijk elk adres geblokkeerd en dat leverde die Forbidden-melding op.

Dit is later vanochtend teruggedraaid, zodat de website weer bereikbaar werd.
Ook is deze specifieke bot in een robots.txt geplaatst, zodat die in de toekomst geblokkeerd wordt.

Verder is de zoekfunctie van ons forum nu beperkt tot ingelogde gebruikers. Als je op het forum wilt zoeken, zorg er dan voor dat je bent ingelogd. Het maakt ons verder niet uit waar iemand op zoekt, dus zoekopdrachten worden niet aan een ingelogde persoon gekoppeld. MozBrowser hoeft geen zoekprofielen van haar gebruikers bij te houden.

Mogelijk worden er in de toekomst nog meer aanpassingen in het forum doorgevoerd om zo het indexeren te vereenvoudigen. Enkele suggesties zijn het toevoegen van een sitemap voor zoekmachines (als dat het indexeren kan verbeteren). Of mogelijk het verwijderen van jaren-oude berichten.
Met vriendelijke groet,

Martijn
[ Mede-oprichter + webmaster MozBrowser | beheerder Startpagina's over GIMP, Mozilla, OpenOffice.org / LibreOffice, opensource en Windows 10 ]

Gebruikersavatar
Koen_92
Berichten: 759
Lid geworden op: 17 Oktober 2006, 19:28
Locatie: Betuwe
Mozilla/5.0 (X11; Linux x86_64; rv:10.0.10) Gecko/20100101 Firefox/10.0.10

Re: Vanochtend een Forbidden-melding bij bezoek website

Berichtdoor Koen_92 » 13 November 2012, 17:30

Hmm, ik blijf het toch gek vinden dat searchbots een website zo zwaar kunnen belasten. Hopelijk gebeurt dat nu niet meer. Toch mooi dat er zo snel ingegrepen wordt!

nirwana schreef:Mogelijk worden er in de toekomst nog meer aanpassingen in het forum doorgevoerd om zo het indexeren te vereenvoudigen. Enkele suggesties zijn het toevoegen van een sitemap voor zoekmachines (als dat het indexeren kan verbeteren). Of mogelijk het verwijderen van jaren-oude berichten.

Het verwijderen van oude berichten zou ik toch wel zonde vinden. Het is momenteel inderdaad lastig zoeken, maar ik weet wel dat er zeker nog waardevolle informatie te vinden is (zoals bijvoorbeeld het "Linux voor beginners-topic").
Als de zoek-functie de servers te zwaar belast, is het dan niet mogelijk om deze te vervangen voor een Google custom search?

Gebruikersavatar
nirwana
Beheerder
Berichten: 11180
Lid geworden op: 19 September 2003, 5:09
Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:16.0) Gecko/20121026 Firefox/16.0

Re: Vanochtend een Forbidden-melding bij bezoek website

Berichtdoor nirwana » 20 November 2012, 11:50

Koen,

Ik zie jouw reactie nu pas, dus krijg je wat later antwoord dan gebruikelijk.

Dit was geen reguliere search-bot. Google c.s. zijn welkom, hoor. Dit was meer een gedistribueerde aanval:
008 runs on a grid computing platform that consists of several thousand computers, which is why you may see our web crawler access your site from many different IP addresses.
Zie www.80legs.com/spider.html voor meer info.

Ik wil ook niet zomaar diverse onderwerpen weggooien. Wel denk ik soms dat er diverse oudere onderwerpen zijn die op dit moment niet meer van belang zijn voor de huidige generatie software van Mozilla, bijvoorbeeld uit de tijd van Phoenix / Firebird. Maar dan zou je onderwerpen stuk voor stuk op hun waarde moeten beoordelen. Voorlopig blijft dat nog een idee voor de toekomst.
Met vriendelijke groet,

Martijn
[ Mede-oprichter + webmaster MozBrowser | beheerder Startpagina's over GIMP, Mozilla, OpenOffice.org / LibreOffice, opensource en Windows 10 ]

Gebruikersavatar
Koen_92
Berichten: 759
Lid geworden op: 17 Oktober 2006, 19:28
Locatie: Betuwe
Mozilla/5.0 (X11; Linux x86_64; rv:10.0.11) Gecko/20100101 Firefox/10.0.11

Re: Een Forbidden-melding bij bezoek website

Berichtdoor Koen_92 » 23 November 2012, 19:11

Ik weet niet hoe groot de impact op de performance van dit forum is van die duizenden oude berichten/topics, de databasetabellen zullen in ieder geval wel erg groot worden.
Als de performance geen probleem is, zou ik die onderwerpen gewoon laten staan, ze kunnen dan verder geen kwaad.

Als performance wel een probleem is of wordt moet er op termijn natuurlijk iets gebeuren. Misschien dat alle topics met een script in een enorm pdf-document of zoiets omgezet kunnen worden? Daarna kunnen ze uit de database gehaald worden en kan de pdf ter download op een archief-plek aan geboden worden?
Ook alle oude topics in een archief-sectie stoppen en die op een aparte database laten draaien kan heel wat schelen denk ik (onder de aanname dat er niet veel mensen door het archief gaan bladeren dagelijks en dat het mogelijk/wenselijk is om een tweede database te draaien).

Zoveel verstand heb ik hier nu ook weer niet van, maar dit zijn maar ideeën ;)


Terug naar “Suggesties en updates”