Indeksowanie to proces skanowania plików znajdujących się w zasobie internetowym przez robota wyszukiwania. Ta procedura jest przeprowadzana tak, aby strona była dostępna w wynikach wyszukiwania dla różnych zapytań w wyszukiwarce. Wśród największych wyszukiwarek jest dziś Yandex, który przeprowadza to skanowanie na swój własny sposób.
Instrukcje
Krok 1
Indeksowanie witryny internetowej odbywa się za pomocą specjalnych automatycznych programów - robotów wyszukujących, które automatycznie śledzą pojawianie się nowych witryn w sieci World Wide Web, stale skanując strony internetowe znajdujące się w Internecie, pliki i linki do nich w każdym zasobie.
Krok 2
W celu zeskanowania robot trafia do katalogu, w którym znajduje się zasób na konkretnym serwerze. Przy wyborze nowej strony robot kieruje się jej dostępnością. Na przykład istnieje opinia, że Yandex najpierw skanuje witryny utworzone w domenie rosyjskojęzycznej i rosyjskiej - ru, rf, su lub ua, a dopiero potem przenosi się do innych regionów.
Krok 3
Robot nawiguje do witryny i skanuje jej strukturę, najpierw wyszukując pliki wskazujące na dalsze wyszukiwanie. Na przykład witryna jest skanowana w poszukiwaniu pliku Sitemap.xml lub robots.txt. Pliki te można wykorzystać do ustawienia zachowania robota wyszukiwania podczas skanowania. Korzystając z mapy witryny (sitemap.xml), robot uzyskuje dokładniejsze wyobrażenie o strukturze zasobu. Webmaster używa pliku robots.txt do definiowania plików, których nie chciałby wyświetlać w wynikach wyszukiwania. Na przykład mogą to być dane osobowe lub inne niechciane dane.
Krok 4
Po zeskanowaniu tych dwóch dokumentów i otrzymaniu niezbędnych instrukcji robot zaczyna analizować kod HTML i przetwarzać otrzymane tagi. Domyślnie w przypadku braku pliku robots.txt wyszukiwarka rozpoczyna przetwarzanie wszystkich dokumentów przechowywanych na serwerze.
Krok 5
Klikając w linki w dokumentach, robot otrzymuje również informacje o innych witrynach, które są w kolejce do skanowania zgodnie z tym zasobem. Zeskanowane pliki na stronie są zapisywane jako kopia tekstowa i struktura na serwerach w centrach danych Yandex.
Krok 6
Potrzeba ponownego skanowania jest również określana automatycznie przez roboty. Program porównuje istniejący wynik skanowania ze zaktualizowaną wersją witryny podczas ponownego indeksowania. Jeśli dane otrzymane przez program różnią się, kopia witryny jest aktualizowana również na serwerze Yandex.
