Каждый поисковик использует веб-пауков для индексирования сайтов.
Казалось бы, от них не скрыться никому. Однако, используя всего
несколько команд, вы способны превратить их в послушных, почти
домашних существ.
Что произойдет, если подсунуть роботу поисковой системы незащищенный
сайт? Правильно, он сделает свое черное дело :)
У вас есть шанс увернуться от него, избежать его путешествий!
Но если у вас нет маленького текстового файлика в корневом каталоге
сервера, ваш сайт может стать таким же доступным, как Клаудиа
Шиффер в прозрачном полиэтиленовом бикини.
Поисковые системы типа Excite или
Altavista используют веб-пауки, также
известных как роботы, для того, что бы создавать индексы в их
базах данных. Эти роботы прочесывают каталоги HTML файлов, загружая
страницы одну за другой по обычным ссылкам на них, и обновляя
базу, в зависимости от того какую текстовую или meta-информацию
...
Читать дальше »