Robots.txt aanpassen
In de Mach3Shop heb je de volledige controle over het robots.txt bestand waarin opdrachten aan onze andere zoekmachines staan. Standaard staat in de robots.txt welke de Mach3Shop genereerd de verwijziging naar de sitemap XML: Sitemap: https://demo.mach3shop.nl/google_sitemap.fw
Hier staat het stappenplan met uitleg hoe je zelf de robots.txt kunt aanpassen.
Stappenplan:
- Ga naar de beheeromgeving van de webshop
- Klik op website
- Klik in het menu links op instellingen
- Klik in de middenkolom op Zoekmachine optimalisatie
- Scroll in het scherm rechts helemaal naar beneden en vul onder het kopje Robots.txt de gewenste instructies in.
Je kunt de standaard robots.txt overnemen door naar www.jouwdomein.nl/robots.txt te gaan.
Indien je hier niets invult dan wordt de standaard robots.txt toegepast met daarin onder andere de verwijziging naar de sitemap XML.
Let op: Standaard staan we een beperkt aantal crawlers toe om de site te crawlen. Maak je gebruik van SEO tools welke de site ook crawlen, dan kan deze met bovenstaande stappen de specifieke crawler toegevoegd worden in de robots.txt.
Wij raden aan om enkel deze crawler toe te voegen en niet de volledige blokkade van de overige crawlers op te heffen. Dit kan heel veel extra druk op de site met zich meenemen. Mocht dit gebeuren kan de site tijdelijk offline gehaald worden.