Если вы разработчик, дизайнер, владелец малого бизнеса или профессиональный маркетолог, то вы должны изучить как работают поисковые системы (ПС).
Имея ясное представление о том, как работают поисковые системы, вы сможете создать сайт, который будет доступен для поисковых систем и будет ранжироваться, а это может принести свои плюшки. Это первый шаг, который нужно предпринять, прежде чем заняться поисковой оптимизацией (SEO) или другими видами SEM (поискового маркетинга).
В этом руководстве вы пошагово изучите как работают поисковые системы, чтобы найти, организовать и показать информацию пользователям.
Что такое поисковая система?
Поисковая система это комплекс программного обеспечения, который исследует интернет в поисках веб-страниц на которых есть та информация, которую ищет пользователь. Результаты поиска (SERP — поисковая выдача) представлены в порядке важности и релевантности тому, что ищет пользователь.
Современные поисковые системы включают в результаты поиска различные типы контента, включая статьи, видео, фотографии, публикации с форумов и посты из соцсетей.
Самая популярная поисковая система — Google. Она охватывает 90% рынка. За ней следуют Bing, DuckDuckGo и другие.
Как работают поисковые системы
Поисковые системы сканируют общедоступные страницы используются специальных ботов-пауков (краулеров). Краулеры (они же пауки или боты) — это специальные программы, которые сканируют интернет, чтобы найти страницы или обновления существующих страниц и добавить информацию с этих страниц в поисковый индекс.
Этот процесс разбит на три стадии:- Первая стадия — процесс обнаружения информации.
- Вторая стадия — организация информации.
- Третья стадия — принятие решения, какие страницы показывать в результатах поиска по запросам и в каком порядке.
Эти стадии также известны как Сканирование, Индексация и Ранжирование.
1. Сканирование
В процессе сканирования цель поисковой системы — найти публично доступную информацию в интернете. Сюда включается новый контент и обновления уже существующего в индексе контента. ПС делают это с помощью большого количества программного обеспечения, называемого краулерами.
Чтобы упростить сложный процесс, вам достаточно знать, что задача поисковых ботов — сканировать интернет и находить сервера (также известные как веб-сервера), где размещаются (хостятся) сайты.
Они создают список всех веб-серверов и количество сайтов, которые размещаются на каждом сервере.
Боты посещают каждый сайт и используют различные способы, чтобы выяснить как много страниц у этих сайтов и типы контента на каждой странице (текст, изображения, видео и т.д.).
При посещении веб-страницы краулеры также переходят по любым ссылкам (и по тем, что ведут на другие страницы сайта, и по тем, которые ведут на другие сайты), чтобы обнаружить больше и больше страниц.
Они делают это постоянно и отслеживают изменения сделанные на сайтах, что даёт им знание о новых страницах, добавленных или удалённых, о том, какие ссылки были обновлены и т.д.
Если учесть, что в наши дни насчитывается более 130 триллионов страниц в интернете, то можно представить какое это количество работы для ботов.
Что нужно знать о процессе сканирования?Первое, о чём нужно позаботиться при оптимизации сайта, это его полная доступность, иначе если поисковые боты не смогут его «прочитать», то не нужно ожидать высоких позиций или поискового трафика.
Как было сказано выше, у краулеров очень много работы, а вам нужно попытаться облегчить их работу.
Ниже проводим несколько моментов, на которые нужно обратить внимание, чтобы пауки смогли обнаружить и зайти на ваш сайт как можно быстрее и без каких-либо проблем.
- Используйте robots.txt, чтоб указать какие страницы не нужно индексировать. Например, страницы администратора, бэкенд страницы и другие страницы, которые не должны быть доступны всему интернету.
- У крупных поисковых систем, таких как Google и Bing есть инструменты (т.н. Панели вебмастеров), которые можно использовать, чтобы предоставить ПС больше информации о сайте (количество страниц, структура и т.д.), чтобы им не приходилось выяснять это самостоятельно.
- Используйте XML-карту сайта, собрав в ней все важные страницы, чтобы краулеры знали какие страницы мониторить на предмет изменений.
- Используйте тег noindex для информирования поисковых ботов, что не нужно индексировать конкретную страницу.
2. Индексация
Просто сканирования недостаточно, чтобы создать поисковую систему. Найденную информацию необходимо организовать, отсортировать и сохранить, чтобы алгоритмы ПС могли обработать её перед тем, как она станет доступна для конечного пользователя.
Этот процесс называется индексацией.
Поисковые системы не хранят всю информацию, найденную на странице, в своём индексе, но они хранят такие вещи как даты создания/обновления, тайтл и дескрипшн страницы, тип контента, связанные ключевые слова, входящие и исходящие ссылки и множество других параметров, которые нужны их алгоритмам.
Google любит описывать свой индекс как оглавление книги (очень большой книги).
Что нужно знать о процессе индексации?Это очень просто, если сайт не в индексе, он не отображается в результатах поиска.
Это также означает, что чем больше страниц с сайта в индексе поисковых систем, тем больше шансов, что они отобразятся в результатах поиска, когда кто-нибудь введёт подходящий запрос.
Обратите внимание, что я сказал «отобразятся в результатах поиска», что означает любую позицию, и это не обязательно будет ТОП поисковых результатов.
Чтобы показывать на первых пяти позициях в поисковой выдаче, нужно оптимизировать сайт под поисковые системы, используя процесс, называемый Продвижение сайтов, он же SEO.
Как выяснить сколько страниц сайта включены в индекс Google?Есть два способа сделать это.
Откройте Google и используйте оператор site со своим доменным именем. Например, site:mad.by. Вы увидите как много страниц относится к этому домену и включено в индекс.
Второй способ — создать аккаунт в Google Search Console и добавить туда свой сайт.
Затем посмотрите отчёт «Проиндексированные страницы» в пункте меню «Страницы» в разделе «Индексирование».
3. Ранжирование
Третий и финальный шаг в этом процессе для поисковых систем — решить какие страницы показывать в поисковой выдаче и в каком порядке. Это называется процессом ранжирования и достигается с помощью использования алгоритмов ранжирования.
Если говорить простыми словами, то это кусочки программ, которые используют некоторое количество правил, чтобы решить какие результаты лучше подходят для поискового запроса.
Эти правила и решения делаются на основе информации доступной в их индексе.
Как работают алгоритмы поисковых систем?
Алгоритмы поисковых систем проверяют некоторые факторы и сигналы, чтобы найти лучшее совпадение с поисковым запросом пользователя. Сигналы и факторы включают релевантность контента словам, которые ввёл пользователь, удобство страницы, местоположение пользователя, что ещё может быть полезно по запросу пользователя, а также множество других факторов.
Важно понимать, что алгоритмы ранжирования поисковых систем становятся сложнее с каждым годом. В начале (где-то в 2001-ом) это было просто соответствие запроса пользователя заголовку страницы, но сейчас это уже не работает так просто.
Алгоритмы ранжирование Google насчитывают более 255 факторов для принятия решения, и никто не может точно назвать эти факторы.
Поисковые системы используют машинное обучение и искусственный интеллект для принятия решений, основывающихся на параметрах внутри и снаружи границ контента, найденного на странице.
Чтобы было проще понять, приводим упрощённый процесс того, как работают факторы ранжирования:
Шаг 1: Анализ поискового запроса пользователя
Первый шаг поисковой системы — понять какого рода информацию пользователь ищет.
Чтобы сделать это, они анализируют запрос пользователя (поисковые запросы) разбивая его на ключевые слова.
Ключевое слово это слово с конкретным значением и целью.
Например, когда вы набираете «как приготовить шоколадный торт», поисковая система понимает, что с помощью слова «как» вы ищете инструкции того как делается шоколадный торт, и таким образом показывает результаты, содержащие сайты с рецептами.
Если вы ищете «купить восстановленный…», они понимают из слов «купить» и «восстановленный», чтобы вы хотите приобрести что-то, и поэтому показывают результаты, которые включают в себя интернет-магазины и различные агрегаторы для покупок.
Машинное обучение помогает им сопоставить релевантные ключевые слова вместе. Например, они понимают, что запрос «как заменить лампочку» это то же самое, что и «как поменять лампочку».
Также они достаточно умны, чтобы понять, когда вы допустили опечатку, когда использовали множественное число, и могут извлечь значение запроса из натурального языка (будь-то написанного или голосового запроса).
Шаг 2: Найти соответствующие запросу страницы
Второй шаг — поискать в своём индексе и решить какие страницы могут предоставить лучший ответ на данный запрос.
Это очень важная стадия во всём процессе для обеих сторон, и для поисковых систем, и для владельцев сайтов. Поисковые системы должны показать самые лучшие результаты в самые короткие сроки, чтобы пользователь остался доволен. Владельцы сайтов хотят, чтобы выбрали их сайт, чтобы они получили трафик и посещения.
Это тот шаг, где хорошие SEO-технологии могут повлиять на решение, принимающееся алгоритмами.
Чтобы получить представление о том, как работает алгоритм совпадений, приведём некоторые из критических факторов:
Соответствие заголовка и контента — насколько подходит заголовок страницы и контент тому запросу, что ввёл пользователь?
Тип контента — если пользователь ищет изображения, результаты поиска должны содержать изображения, а не текст.
Качество контента — контент должен быть подробным, полезным, информативным и непредвзятым.
Качество сайта — важно общее техническое состояние сайта. Google не покажет страницы с сайтов, которые не соответствуют их стандартам качества.
Дата публикации — для новостных запросов Google хочет показывать самые свежие результаты, поэтому дата публикации очень важна.
Популярность страницы — это не имеет ничего общего с тем, сколько трафика получает сайт. Здесь важно как другие сайты воспринимают данную страницу. Страница на которую ссылается много других сайтов считается более популярной, чем страницы без обратных ссылок.
Язык страницы — пользователи предпочитают страницы на их родном языке, а это не всегда английский или русский.
Скорость загрузки страницы — сайты, загружающиеся быстро (читай, до 2х секунд) имеют небольшое преимущество по сравнению с сайтами, которые загружаются медленнее.
Тип устройства — пользователям смартфонов нужны страницы, которые адаптированы для мобильных.
Местоположение — пользователям нужны результаты из их районов. Например, результаты для запроса «лучшие пиццерии» должны отображать пиццерии из города, где пользователь находится.
Всё это лишь вершина айсберга. Как упоминалось ранее, у Google более 255 факторов ранжирования в их алгоритмах, и все они нужны для того, чтобы пользователи были рады тем результатам поиска, которые они получают.
Шаг 3: Показать результаты пользователю
Результаты поиска, также известные как Поисковая выдача (SERP) представлены в упорядоченном списке. Оформление поисковой выдачи часто включает дополнительные элементы, такие как платная реклама, расширенные сниппеты и другие, зависящие от содержания запроса.
Например, при поиске конкретных новостей могут быть отображены последние новости, а при поиске местных ресторанов может отобразиться карта с ближайшими локациями.
Почему нужно знать как работают алгоритмы ранжирования поисковых систем?
Если вы хотите получить трафик из поисковых систем, ваш сайт должен показывать на топовых позициях первой страницы поиска.
Статистически доказано, что большинство пользователей кликают на первые пять результатов (и на десктопах, и на мобильных).
Занятые места на второй и третьей странице результатов поиска скорее всего не принесут вам трафика вообще.
Трафик это одно из преимуществ SEO. Заняв топовую позицию по запросам ваш бизнес получит не только трафик, но и гораздо больше.
Понимание того как работают поисковые системы поможет улучшить свой сайт и получить позиции в поиске и трафик.
Заключение
Поисковые системы стали очень сложными компьютерными программами. Их интерфейс прост, но то, как они работают и как принимают решения, далеко от простоты.
Процесс начинается со сканирования и индексирования. На этом этапе поисковые роботы собирают как можно больше информации о сайта и их доступности в интернете.
Они изучают, обрабатывают, сортируют и размещают информацию в том формате, который могут использовать алгоритмы поисковых систем, чтобы принимать решения и возвращать наилучший результат пользователю.
Объём обрабатываемых данных огромен, и этот процесс полностью автоматизирован. Вмешательство человека присутствует только в процессах разработки правил, которые используются алгоритмами. Но даже этот этап постепенно замещается компьютерами с помощью искусственного интеллекта.
Как вебмастеру, вам нужно облегчить процесс сканирования и индексирования для роботов, создавая сайта, с простой и понятной структурой.
После того как они «прочитают» однажды ваш сайт, вам нужно убедиться, что переданные им сигналы верны, чтобы помочь алгоритмам ранжирования выбрать ваш сайт под все подходящие запросы пользователей (это и есть SEO).
