Online archief


De robots.txt is een tekstbestandje waarmee kan worden aangegeven welke delen wel of welke delen van de website juist niet geïndexeerd mogen worden. In het robots bestand kan aan Google en de overige zoekmachines zoals Bing en Yahoo, middels “Disallow” worden aangeven welke pagina’s in de website niet geïndexeerd mogen worden. Daarnaast is het mogelijk om aan te geven wat de locatie van de XML sitemap is. Het is van belang dat de inhoud van het robots bestand goed geformuleerd is. De spiders van de zoekmachines gaan altijd als eerst op zoek naar het robots.txt bestand. Bij verkeerd gebruik kunnen er indexatieproblemen met de website ontstaan.

Als voorbeeld vindt je het robots bestand van online-marketing.nu hier: Robots bestand.


duplicate contentMet duplicate content wordt bedoeld dat er verschillende URL’s zijn met dezelfde content. Dit heeft als gevolg dat websites, of pagina’s binnen dezelfde website, die beschikken over dezelfde content met elkaar gaan concurreren. Om de index schoon te houden probeert Google zoveel mogelijk dubbele pagina’s uit de index te verwijderen. Spammers maken vaak gebruik van duplicate content trucjes door (andermans) content te kopiëren en deze content op verschillende domeinen te plaatsen in de hoop hiermee goede rankings te halen of meer verkeer te genereren. Hoewel duplicate content veelvuldig voorkomt op het web is dit in veel gevallen niet het resultaat van slechte intenties van webmasters, maar de manier waarop een site is gebouwd. Een site met veel duplicate content kan door de filters van Google opgemerkt worden en dit kan leiden tot een (automatische) verzwakking van de rankings in de zoekresultaten (ook al is er geen sprake van kwade opzet). Duplicate content wordt door de zoekmachines afgestraft door 1 van de 2 pagina niet of laag op te nemen in de zoekresultaten. Het advies is dan ook om altijd voor elke webpagina binnen het domein nieuwe, relevante en unieke content te schrijven.


Of een website met of zonder www wordt gemaakt, maakt voor de organische vindbaarheid niet uit. Wel is het belangrijk dat er een keuze gemaakt wordt en dat de overige variant, middels een 301, geredirect wordt. Wanneer een bezoeker dan de non-www versie van de website intypt, zou deze bezoeker met een 301 redirect doorgestuurd moeten worden naar de versie met www. Wanneer dit niet gebeurt zullen links op externe websites die naar de non-www versie verwijzen niet mee tellen in de waarde opbouw van de website in de zoekmachines. Ook is het mogelijk dat er duplicate content optreedt; dit houdt in dat zoekmachines de gehele website, of delen hiervan, niet of lager waardeert.

Voorbeeld www VS non-www

Zodra je de website van Clown Boeken bezoekt zonder www Clown-Boeken.nl wordt je automatisch geredirect naar de www variant van de website www.Clown-Boeken.nl. Hierdoor herkent de zoekmachine duidelijk voor welke variant is gekozen en gaat er bij een eventuele verwijzing naar de non-www variant geen waarde (autoriteit) verloren.

www vs non www


Bij sommige websites zie je dat de homepage via verschillende URL’s/pagina’s binnen de website te bereiken is. De zoekmachine ziet dan ook verschillende versies van dezelfde homepage. Deze zogenaamde dubbele homepages zie je veelal wanneer er een content management systeem of een andere web beheertool wordt gebruikt. Om deze reden kiest een zoekmachine zelf één van de homepages die aan de gebruikers getoond wordt. Ook is het zo dat externe en interne links naar de overige versies van de homepage de kracht die daaraan meegegeven wordt, niet ten goede komt aan de originele homepage. Daarbij dient, om duplicate content te voorkomen, ook altijd uitsluitend 1 homepage bereikbaar te zijn en de overige varianten middels een 301 geredirect te worden. Voorkom het gebruik van dubbele homepages.