Роботы Поисковой машины - Как Они Работают, Что Они Делают (Первая часть)

Автоматизированные роботы поисковой машины, иногда называемые "пауками" или "ползущими", являются ищущими веб-страниц. Как они работают? Каково это, они действительно делают? Почему они важны?

Вы думали бы со всей суетой вокруг индексации веб-страниц добавлять к базам данных поисковой машины, что роботы будут великими и сильными существами. Неправильно. У роботов поисковой машины есть только основные функциональные возможности как этот ранних браузеров в терминах того, что они могут понять в веб-странице. Как ранние браузеры, роботы только не могут сделать определенных вещей. Роботы не понимают структуры, кинофильмы Вспышки, изображения или JavaScript. Они не могут войти в защищённые паролем области, и они не могут щелкнуть всеми теми кнопками, которые Вы имеете на своем вебсайте. Они могут быть полностью прекращены, внося динамически произведенный URL В УКАЗАТЕЛЬ и замедлены на остановку с навигацией JavaScript. Как Роботы Поисковой машины Работают?

Думайте о роботах поисковой машины как об автоматизированных поисковых программах данных, путешествуя сеть, чтобы найти информацию и связи.

Когда Вы утверждаете, что веб-страница к поисковой машине в "Представляет URL" страница, новый URL добавлен к очереди робота вебсайтов, чтобы посетить на ее следующем набеге на сеть. Даже если Вы непосредственно не представите страницу, то много роботов найдут Ваш участок из-за связей от других участков, которые указывают назад на ваш. Это - одна из причин, почему важно построить Вашу популярность связи и получить связи от других актуальных участков назад к вашему.

Достигая Вашего вебсайта, автоматизированные роботы сначала проверяют, чтобы видеть, есть ли у Вас роботы. файл txt. Этот файл используется, чтобы сказать роботы, какие области Вашего участка запрещены к ним. Типично они могут быть справочниками, содержащими только наборы из двух предметов или другие файлы, которыми робот не должен касаться себя.

Роботы собирают связи у каждой страницы, которую они посещают, и позже доводят до конца те связи к другим страницам. Таким образом, они по существу следуют за связями от одной страницы до другого. Широкая Сеть всего мира составлена из связей, оригинальная идея быть, что Вы могли следовать за связями от одного места до другого. Это - то, как роботы двигаются.

"Ум" об индексации страниц онлайн прибывает от инженеров поисковой машины, которые разрабатывают методы, используемые, чтобы оценить информацию, которую восстанавливают роботы поисковой машины. Когда введено в базу данных поисковой машины, информация доступна для искателей, подвергающих сомнению поисковую машину. Когда пользователь поисковой машины входит в их вопрос в поисковую машину, есть многие быстрые вычисления, сделанные, чтобы удостовериться, что поисковая машина представляет только правильный набор результатов дать их посетителю самый соответствующий ответ на их вопрос.

Вы можете видеть, какие страницы на Вашем участке роботы поисковой машины посетили, смотря на Ваши регистрации сервера или следствия Вашей программы статистики регистрации. Идентификация роботов покажет Вам, когда они посетили Ваш вебсайт, какие страницы они посетили и как часто они посещают. Некоторые роботы являются с готовностью опознаваемыми своими пользовательскими названиями агента, как "Googlebot" Google; другие - более неясный бит, как Inktomi's "Хлебают". Тем не менее другие роботы могут быть перечислены в Ваших регистрациях, которые Вы не можете с готовностью идентифицировать; некоторые из них, может даже казаться, приведенные в действие человеком браузеры.

Наряду с идентификацией индивидуальных роботов и подсчетом числа их посещений, статистика может также показать Вам агрессивные захватывающие полосу пропускания роботы или роботы, Вы не можете хотеть посетить Ваш вебсайт. В секции ресурсов конца этой статьи Вы найдете участки, которые перечисляют названия и IP адреса роботов поисковой машины, чтобы помочь Вам идентифицировать их. Как Они Читают Страницы На Вашем Вебсайте?

Когда робот поисковой машины посещает Вашу страницу, он смотрит на видимый текст на странице, содержание различных признаков в исходном тексте Вашей страницы (признак названия, признаки Меты, и т. д.), и гиперссылки на Вашей странице. От слов и связей, которые находит робот, поисковая машина решает то, о чем Ваша страница. Есть много факторов, используемых, чтобы выяснить, какие "дела" и каждая поисковая машина имеет ее собственный алгоритм, чтобы оценить и обработать информацию. В зависимости от того, как робот настроен через поисковую машину, информация внесена в указатель и затем поставлена базе данных поисковой машины.

Информация, поставленная базам данных тогда, становится частью поисковой машины и директивного процесса ранжирования. Когда посетитель поисковой машины представляет их вопрос, поисковая машина роет через ее базу данных, чтобы дать финал, перечисляющий, который показан на странице результатов.

В переменные времена базы данных поисковой машины обновляют. Как только Вы находитесь в базах данных поисковой машины, роботы продолжают посещать Вас периодически, поднимать любые изменения к Вашим страницам, и удостоверяться, что у них есть последняя информация. Количество раз Вы посещаетесь, зависит от того, как поисковая машина настраивает свои посещения, которые могут измениться в поисковую машину.

Иногда посещающие роботы неспособны получить доступ к вебсайту, который они посещают. Если Ваш участок снижается, или Вы испытываете огромное количество движения, робот, возможно, не в состоянии получить доступ к Вашему участку. Когда это случается, вебсайт не может быть повторно внесен в указатель, в зависимости от частоты посещений робота Вашего вебсайта. В большинстве случаев, роботы, которые не могут получить доступ к Вашим страницам, попробуют еще раз позже, надеясь, что Ваш участок будет доступен тогда.

Ресурсы