SEO
Sitemap i robots.txt
Dwa pliki dla robotów wyszukiwarek: lista podstron do odwiedzenia i instrukcja, czego nie ruszać.
Sitemap to plik XML z listą wszystkich adresów na stronie, które chcesz mieć w Google, razem z datą ostatniej zmiany. Robot wyszukiwarki i tak znajdzie większość podstron przez linki, ale mapa przyspiesza to i pomaga przy nowych albo słabo podlinkowanych stronach. Robots.txt to z kolei krótki plik z regułami, które mówią robotom, czego nie mają odwiedzać, na przykład panelu administracyjnego albo koszyka.
Oba pliki generują automatycznie wtyczki SEO w WordPressie i generatory stron statycznych, więc rzadko trzeba pisać je ręcznie. Problem pojawia się, gdy coś jest w nich źle: mapa zawiera adresy stron testowych, przekierowanych albo usuniętych, a robots.txt blokuje całą stronę, bo ktoś zostawił ustawienie z etapu budowy. To drugie zdarza się częściej, niż można by sądzić, i skutkuje zniknięciem z Google.
Adres mapy zgłasza się w Google Search Console, gdzie widać też, ile stron z mapy trafiło do indeksu i które zostały odrzucone. Plik robots.txt sprawdzisz, dopisując /robots.txt do adresu domeny. Jeśli widzisz tam linijkę blokującą wszystko, to pierwsza rzecz do naprawy.