Podívejte se novou případovku z dokončeného webu Barbara Conana!
Přejít

Co je Co je robots.txt??

SEO
Robots.txt může ovlivnit, jak vyhledávače prochází vaším webem. Zjistěte, co je robots.txt a jak ho správně nastavit.

Vojtěch Bruk

Co je robots.txt?

Robots.txt je textový soubor, který webmastery používají k instruování webových robotů, jak procházet stránkami na jejich webovém serveru. Tento soubor je součástí standardu REP (Robots Exclusion Protocol), který zahrnuje také direktivy jako meta tagy a atributy nofollow. Robots.txt je umístěn v kořenovém adresáři webu a indikuje, které části webu jsou pro roboty přístupné a které ne.

Je důležité si uvědomit, že robots.txt je spíše doporučení pro roboty, než pevné pravidlo. Některé roboty mohou tyto pokyny ignorovat a procházet stránkami, které by měly být blokovány. Nicméně, většina respektovaných vyhledávačů, jako je Google, pokyny v robots.txt dodržuje.

Jak správně nastavit robots.txt?

Pro správné nastavení robots.txt je důležité pochopit jeho syntaxi a strukturu. Soubor se skládá z jedné nebo více skupin, kde každá skupina obsahuje uživatelského agenta následovaného jedním nebo více pravidly. Uživatelský agent identifikuje robota, pro kterého je pravidlo určeno, a pravidla určují, které cesty jsou pro tohoto robota povolené nebo zakázáne.

Například, pokud chcete zakázat všem robotům přístup k určité složce na vašem webu, můžete použít následující syntaxi:

User-agent: *
Disallow: /slozka/

Toto pravidlo říká všem robotům (označeným hvězdičkou), že nemají přístup k složce “slozka”.

Je také možné povolit přístup k určitým souborům nebo složkám pomocí direktivy “Allow”. Například:

User-agent: Googlebot
Disallow: /slozka/
Allow: /slozka/soubor.html

Toto pravidlo říká robotu Googlebot, že nemá přístup k složce “slozka”, ale může přistupovat k souboru “soubor.html” v této složce.

Je důležité si uvědomit, že pokud nezahrnete soubor robots.txt na svůj web, vyhledávače budou předpokládat, že všechny části vašeho webu jsou přístupné.

Pro více informací o tom, jak správně nastavit soubor robots.txt, můžete navštívit tento článek.

Vojtěch Bruk

Baví mě prozkoumávat věci do hloubky. Nespokojím se jen s povrchními znalostmi, ať už jde o weby, SEO nebo o pokerové strategie. Tato vlastnost mi pomáhá se stále posouvat dopředu a náležitě si tento proces učení užívat.