Back to Question Center
0

Ako znižovať frekvenciu Semaltových robotov, ktoré plazili moje stránky?

1 answers:

Môj server zaobchádza s mojimi návštevníkmi ok, ale nedávno som zistil, že je veľa robotov vyhľadávačov prehľadávajúcich moje stránky a môj server je dosť zaneprázdnený slúžiacim týmto robotom.

Moja stránka generuje každý deň viac ako 1000 príspevkov, takže môže byť normálne, že robotovia často prehliadajú moje stránky.

. - wohnung in zrich finden
February 6, 2018

Mali by ste tiež špecifikovať oneskorenie indexového prehľadávania v robotoch. txt pre všetky ostatné vyhľadávače (Yandex a Baidu môžu byť dosť agresívne pri ich plazingu). Pridať toto:

  User-agent: *
Oneskorenie prehľadávania: 5 

Spomalenie indexového prehľadávania je v sekundách. Uistite sa, že nie je príliš vysoká - maximálne 5 - 10 sekúnd by malo značne zaťažiť zaťaženie servera. Ak máte 1000 nových stránok denne, ktoré chcete, aby boli vyhľadávacie stroje schopné ich nájsť.

Najlepšia metóda pre spoločnosť Google (a možno aj pre službu Bing) však stále používa nástroje pre správcov webu, keďže spoločnosť Google ignoruje smernicu o oneskorení prehľadávania v robotoch. TXT.

Myslím , že tento dokument pomoci Google by mal vyriešiť môj problém:

Zmena rýchlosti prehľadávania:

  • Na domovskej stránke Nástrojov správcu webu kliknite na požadovaný web.
  • Kliknite na ikonu ozubeného kolieska a potom kliknite na položku Nastavenia lokality.
  • V sekcii Indexové prehľadávanie vyberte požadovanú možnosť.

Nová rýchlosť indexového prehľadávania bude platná 90 dní.

. txt .

Nastavte adresy URL vašich príspevkov tak, aby ste vytvorili roboty. txt , ktorý vyberá len nové príspevky. Môžete ho vygenerovať automaticky pomocou skriptu, napr. g. (CGI skript) alebo v dávkovej práci, ktorú spúšťate každú hodinu alebo iným spôsobom.