De robots.txt is een tekstbestandje waarmee kan worden aangegeven welke delen wel of welke delen van de website juist niet geïndexeerd mogen worden. In het robots bestand kan aan Google en de overige zoekmachines zoals Bing en Yahoo, middels “Disallow” worden aangeven welke pagina’s in de website niet geïndexeerd mogen worden. Daarnaast is het mogelijk om aan te geven wat de locatie van de XML sitemap is. Het is van belang dat de inhoud van het robots bestand goed geformuleerd is. De spiders van de zoekmachines gaan altijd als eerst op zoek naar het robots.txt bestand. Bij verkeerd gebruik kunnen er indexatieproblemen met de website ontstaan.

Als voorbeeld vindt je het robots bestand van online-marketing.nu hier: Robots bestand.