Robot wyszukiwarki odpowiada za indeksowanie stron internetowych. Program automatycznie odczytuje dane ze wszystkich stron i rejestruje je w formie zrozumiałej dla samej wyszukiwarki, dzięki czemu później system wyświetli najbardziej odpowiednie dla użytkownika wyniki.
Funkcje
Wszystkie zindeksowane informacje są zapisywane we wspólnej bazie danych.
Robot wyszukiwania to program, który automatycznie porusza się po stronach Internetu, żądając niezbędnych dokumentów i otrzymując strukturę przeszukiwanych witryn. Robot samodzielnie wybiera strony do zeskanowania. W większości przypadków witryny do skanowania są wybierane losowo.
Typy botów
Nieprawidłowo działający robot znacznie zwiększa obciążenie sieci i serwera, co może spowodować niedostępność zasobu.
Każda wyszukiwarka ma kilka programów zwanych robotami. Każdy z nich może pełnić określoną funkcję. Na przykład w Yandex niektóre roboty są odpowiedzialne za skanowanie kanałów informacyjnych RSS, co przyda się do indeksowania blogów. Istnieją również programy, które wyszukują tylko zdjęcia. Najważniejszy jest jednak bot indeksujący, który stanowi podstawę każdego wyszukiwania. Istnieje również pomocniczy szybki robot przeznaczony do wyszukiwania aktualizacji w kanałach informacyjnych i wydarzeniach.
Procedura skanowania
Innym sposobem zapobiegania indeksowaniu treści jest utworzenie dostępu do serwisu poprzez panel rejestracyjny.
Podczas odwiedzania witryny program skanuje system plików pod kątem obecności plików instrukcji robots.txt. Jeśli istnieje dokument, rozpoczyna się czytanie dyrektyw zapisanych w dokumencie. Robots.txt może zabronić lub, odwrotnie, zezwolić na skanowanie niektórych stron i plików w witrynie.
Proces skanowania zależy od typu programu. Czasami roboty czytają tylko tytuły stron i kilka akapitów. W niektórych przypadkach skanowanie odbywa się w całym dokumencie w zależności od znaczników HTML, co może również służyć do określania fraz kluczowych. Niektóre programy specjalizują się w ukrytych lub metatagach.
Dodawanie do listy
Każdy webmaster może uniemożliwić wyszukiwarce indeksowanie stron za pomocą pliku robots.txt lub tagu META. Również twórca witryny może ręcznie dodać witrynę do kolejki indeksowania, ale dodanie jej nie oznacza, że robot od razu zindeksuje żądaną stronę. Aby dodać witrynę do kolejki, wyszukiwarki udostępniają również specjalne interfejsy. Dodanie witryny znacznie przyspiesza proces indeksowania. Ponadto do szybkiej rejestracji w wyszukiwarce można wykorzystać systemy analityki internetowej, katalogi witryn itp.
