Искусство продвижения сайта. Полный курс SEO: от идеи до первых клиентов

Глава 2
Техническая сторона продвижения

2.1. История развития поисковых систем и их текущая популярность

Я всегда утверждал и буду утверждать, что узкий специалист, не интересующийся ничем, кроме сугубо практических деталей, не сможет достичь настоящих высот в своей профессии. Такой человек становится не «узким», а «узколобым». Поэтому давайте рассмотрим историю развития поисковых машин, а также то, какую долю рынка занимает каждый из поисковиков в настоящее время.

История развития поисковых систем. В далекие 90-е годы, когда Интернет только-только начал входить в жизнь, поисковых систем в современном понимании этого слова не существовало. Поиск нужного ресурса происходил через каталоги сайтов, где имевшиеся на тот момент Интернет-проекты упорядочивались по рубрикам. Поскольку пользователей в сети было немного, а сайтов и вообще мало – то такой способ структурирования данных был вполне удобным и адекватным.

Первой полноценной поисковой машиной стал проект WebCrawler. Принципиальное отличие от предшественников состояло в том, что этот поисковик осуществлял т. н. полнотекстовый поиск. Т. е. искал не только локально по какому-то каталогу, не только по мета-тегу Keywords, но анализировал полный текст веб-страницы, что позволяло успешно находить любые фразы (а не только те, которые вебмастер указал в описании своего сайта как ключевые).

Лично мне название WebCrawler ни о чем не говорит – это слишком далеко в прошлом, в России в те времена само слово-то Интернет не каждый слышал. А вот появившийся в 1996 Lycos уже на слуху у вебмастеров постарше, во всяком случае название это многим знакомо. Вскоре за Лайкосом была запущена лучшая поисковая система своего времени AltaVista – уж это-то имя вы наверняка слышали. Примерно до 2000 года АльтаВиста оставалась лидирующей поисковой системой в мире.

В 1998 году была создана компания Google. Ее разработчики, Сергей Брин и Лари Пэйдж, совершили революцию в качестве поиска, разработав алгоритм PageRank, позволяющий учитывать «вес» страницы, в зависимости от числа ссылок на нее. Это настолько радикально улучшило качество поиска, что Google стал быстрыми темпами завоевывать аудиторию и через несколько лет стал лидирующей поисковой машиной мира, которой и остается до сих пор. Помнится, году примерно в 2000, я в институте наблюдал спор между двумя студентами нашей группы о том, что Альтависта «отстой», а Google ищет лучше.

Поисковая система Апорт. Разработка компании Агама, увидевшая свет в 1996 году. Проект, который в течение нескольких лет оставался лидирующей поисковой машиной Рунета. Пишу это и сам себя начинаю ощущать очень древним. Ведь когда-то, будучи студентами, именно Апортом мы и пользовались для поиска. Других альтернатив не было, да они были и не нужны, ведь Aport прекрасно справлялся со своей задачей.

Прекрасный старт, однако, не обеспечил столь же прекрасного развития в дальнейшем. Апорт был таким лакомым кусочком, что несколько раз менял владельцев, с каждым разом продаваясь все дороже и дороже. Именно это его, судя по всему, и погубило. На первый план вышел «эффективный менеджмент и маркетинг», а на техническое обеспечение банально «забили». После этого пользователи Рунета повернулись к Апорту задом – благо два других главных поисковика – Рамблер и Яндекс – активно боролись за место под солнцем.

Не помню уже точных дат, но сперва Апорт отказался от собственных алгоритмов ранжирования, начав использовать данные Яндекса, а пару лет назад и вовсе прекратил свое существование как поисковая система. Некоторое время на знаменитом домене располагался Интернет-магазин не самого лучшего качества, а сейчас и вовсе стоит банальный редирект на другой портал.

Эх… а ведь когда-то у Апорта был еще и свой каталог, в который вебмастера стремились попасть почти с той же силой, что нынче в Яндекс. Кстати, первый дизайн для Апорта разрабатывал Артемий Лебедев… практически одновременно с дизайном для Яндекса.

Поисковая система Рамблер. Рамблер был запущен все в том же 1996 году и почти десятилетие оставался одним из главных игроков на рынке. В отличие от Апорта, который «сошел на нет» очень и очень быстро, Рамблер скатывался к нынешнему «бомж-положению» медленно и с сопротивлением.

Практически до самого последнего момента у Рамблера продолжал работать свой поисковый движок, выдававший кстати неплохое качество. Подуматьтолько-долгие годы Рамблер был вторым поисковиком Рунета, причем третьим шел вовсе не полу-дохлый уже Апорт, а могущественный Google!

Тем не менее, доля Рамблера на рынке все уменьшалась и уменьшалась, а в 2011 году он был выкуплен Яндексом и стал выдавать идентичные с Яндексом результаты. Так закончилась история Рамблера, некогда сильнейшего российского поисковика.

Поисковые системы Google и Яндекс. На данный момент по сути остались только две актуальные поисковые машины – Яндекс и Google. Всякого рода Лукосы и Альтависты давно забыты и в качестве поисковых сервисов не функционируют. Рамблер был куплен Яндексом и сейчас показывает результаты последнего. Апорт превратился в Интернет-магазин. Очень небольшую долю рынка удерживают Yahoo и Bing – поиск от компании Майкрософт. В России помимо Яндекса и Google существует еще Mail.Ru, но он не имеет собственного поискового движка, а использует результаты поиска то от Google, то от Яндекса (в разные годы по разному), внося в них лишь незначительные коррективы.

Популярность поисковых систем в России, Украине и мире. На данный момент рынок поиска в России поделен примерно так:

Яндекс и Google – примерно поровну. Здесь стоит указать такой интересный нюанс, что среди пользователей домашних компьютеров Яндекс все таки остается явным лидером. Но на всех планшетных устройствах предустановленным поиском является именно Google – и за счет этого общие аудитории поисковых систем примерно уравнялись.

Третью позицию занимает Mail.Ru с примерно 5–8% аудитории. Цифра не так чтобы маленькая, но явно недостаточная, чтобы предпринимать какие-то специальные усилия для продвижения именно в этом поисковике.

Рамблер, Bing и прочие суммарно дают что-то около 1 % трафика, так что интерес представляют чисто академический.

На Украине соотношение существенно иное, Яндекс здорово отстает от своего главного конкурента, порядка 70 % трафика сосредоточено в руках компании Google. Яндекс идет на прочном втором месте.

В мировом поиске лидер только один, абсолютный и безоговорочный – Google.

Кстати говоря, мы с вами можем испытывать заслуженную гордость за свою страну – только в России и в Китае были созданы свои собственные системы поиска. Больше нигде в мире качественных поисковых машин не появилось. В европейских странах – Франции, Германии и прочих – Google используют до 9799 % пользователей, т. е. альтернативы по сути нет.

Есть в этом и практический аспект-у российского вебмастера больше шансов получить посетителей из поиска. Часто бывает, что Яндекс сайт «любит», а Google нет, или наоборот. Но и в том и в другом случае клиенты у сайта имеются. У наших западных коллег работает принцип «все или ничего».

Есть и второй момент – продвижение в Google и в Яндекс в определенной мере различается, и желание попасть в топ обоих лидеров накладывает свой отпечаток на модель раскрутки сайта.

2.2. Как устроены поисковые системы

Нам нет нужды подробно вникать в технические детали функционирования поисковых машин, но знание базовых принципов несомненно пригодится.

На физическом уровне поисковые системы представляют собой сеть из сотен тысяч и даже миллионов серверов, в буквальном смысле слова хранящих в себе копию всего Интернета. Посмотрим, как это работает.

Поисковый робот. Первым важным компонентом поисковой машины является поисковый или индексирующий робот. На самом деле этот робот и сам состоит из десятка других компонентов, но для простоты мы будем рассматривать его как единое целое. Итак, индексирующий робот:

– скачивает страницы из Интернета, так же, как это делает наш браузер

– после скачивания проводит первоначальный анализ – содержит ли эта страница какую-то осмысленную информацию и нужно ли поместить ее в базу данных поисковика (иначе называемому «индексом»)

– если страница полезная, то следует более подробный анализ. Страница разбирается на составные элементы: текст, html код, ссылки, изображения и т. п. и затем помещается в индекс.

Индекс поисковой системы. Чтобы понять, как это устроено, давайте обратимся к примеру из жизни. Возьмем какую-нибудь умную книгу, например, справочник по астрономии. В книге, конечно, есть оглавление – но его бывает недостаточно, если нам нужно быстро найти какую-то конкретную информацию.

Поэтому в конце всегда приводится индексный указатель. Хотим мы найти все упоминания планеты Сатурн – открываем индекс и видим: Сатурн упоминается в 10 статьях, на страницах 5, 27,193ИТ.Д.

Индекс поисковой системы работает по тому же принципу-для каждого слова есть список документов, его содержащих. Только в отличии от книжного указателя, индекс поисковой системы гораздо более полный и содержит не только номера документов, но и много дополнительной информации (как часто слово встречалось на странице, какими тегами было выделено и т. д.).

Поступил к Яндексу запрос «планета Сатурн» и с помощью индекса поисковая система в считанные секунды нашла список страниц, содержащих слово «планета», а затем выбрала из них те, которые содержат слово «Сатурн». Вот и получился первоначальный вариант поисковой выдачи.

Вы никогда не задумывались, почему поиск нужного документа только лишь на вашем компьютере может занимать несколько минут, а поиск «по всему Интернету» – доли секунды? А вот вам и ответ – у поисковой системы все данные уже подготовлены для поиска по ним. 99 % всей работы сделано еще до получения запроса от пользователя – список слов и документов подготовлен заранее. А уж искать с помощью готового индекса в миллионы раз быстрее, чем просмотром информации «в лоб».

Алгоритмы выдачи результатов. После того, как первоначальный список результатов получен, в дело вступают алгоритмы ранжирования. Ведь из миллиона найденных страниц нужно выбрать 1000, наиболее полно отвечающих на вопрос. Для отбора этой тысячи используются множество различных факторов – текст страницы, ссылки на эту страницу, поведение пользователей и т. д. На основе этих данных и формируется те 1000 результатов, которые мы можем увидеть в своем браузере.

Матрикснет и финальное ранжирование. Итак, у нас есть список документов, которые лучше всего отвечают на заданный запрос. Теперь нужно их отсортировать по качеству- ведь у пользователя нет возможности рыться во всей тысячи.

На этом этапе в дело вступает Матрикснет, о котором мы говорили ранее. Именно этот алгоритм сортирует полученные результаты и формирует окончательный вариант выдачи, которую мы увидим в нашем браузере.

2.3 Коротко о факторах ранжирования

В этой главе мы коротко рассмотрим все группы факторов, которые влияют на продвижение сайта. Все это мы будем разбирать детально в последующих частях книги, а пока что просто общий обзор, чтобы немного структурировать ваши знания.

Технические факторы продвижения. Это, по сути, оценка работоспособности вашего сайта. Сайт должен работать хорошо, с этим спорить не приходится. Если ресурс работает медленно, часто бывает недоступен – то это не очень хороший проект.

Неправильная настройка кодов ответа сервера, неверные настройки сессий, наличие доступных для поисковика дублей страниц – все это примеры технических недоработок (о которых мы поговорим в следующей главе).

Технические факторы никогда не сыграют на повышение позиций вашего сайта, но зато могут очень существенно подвинуть его вниз. Сайт должен быть быстрым и правильно настроенным, иначе ему не место в ТОПе.

Текстовые факторы. Оценивается смысл текста, его объем, количество ключевых фраз, насколько точно он отвечает запросу.

Html код. Еще один элемент внутренней оптимизации сайта. Поисковая машина разбирает, какими тегами выделена ключевая фраза (bold, strong и т. п.), присутствует ли она в заголовках, в теге TITLE, в подписях к картинкам, в тексте ссылок.

Ссылочная популярность. Как много других ресурсов ссылается на сайт, какой используется ссылочный текст. Какие это ресурсы-достойные или нет. В общем, анализируется ссылочный профиль и на основе этого рассчитывается авторитетность ресурса.

Траст сайта. Или, по другому, уровень доверия. Зависит от возраста, количества и качества входящих ссылок. Также учитываются исходящие ссылки – на кого они ведут. Если информации на сайте можно доверять, то ему легче будет получить высокие позиции.

Поведенческие факторы. Как пользователи ведут себя на сайте. Получают ли они ответы на свои запросы или возвращаются обратно в поиск? Просматривают страницы и проводят на нем какое-то время, или же сразу закрывают?

Если пользователи любят сайт, значит он хороший. Ведь машину можно обмануть, а человека нет. А хороший сайт стоит и ранжировать хорошо. Поэтому алгоритмы поисковых систем придают важное значение поведению пользователя на ресурсе.

Факторы времени/возраста. Как долго существует сайт – это старый, проверенный временем ресурс или только что созданный проект, от которого неизвестно чего ожидать? Каков возраст ссылок, ведущих на сайт – вебмастера действительно рекомендуют его на своих ресурсах или же вчера ссылки были, а сегодня уже исчезли? Как часто обновляется информация, идет ли развитие сайта?

Социальные сигналы. Рекомендуют ли пользователи сайт в социальных сетях – в Facebook, Twitter, ВКонтакте? Если рекомендуют – это явный признак хорошего сайта.

Соц. сигналы, конечно, штука специфическая. Юмористический сайт способен получить сотни и тысячи таких пользовательских рекомендаций, а сайт по продаже щебня вряд ли кто-то будет обсуждать в Одноклассниках. Т. е. этот параметр оценки применим далеко не ко всем сайтам, но поисковики это прекрасно понимают и используют соц. сигналы там, где это уместно.

2.4. Апдейты поисковых систем

Английское слово Update означает обновление чего-либо. В контексте поисковых систем оно означает обновление алгоритма, или выдачи, или каких-то seo показателей. Слово прижилось в среде seo-шников и «русифицировалось». Сейчас уже так и говорят «сегодня был апдейт на Яндексе» или «когда же наконец-то будет ап ТИЦ». «Ап» – это укороченное от «апдейт».

Прежде всего, следует сказать о принципиальном отличии между Google и Яндексом в контексте проведения апдейтов. У Google выдача меняется в режиме реального времени. Проиндексировал Google новый документ – и он уже буквально через 10 минут может появиться в выдаче, тем самым изменив ее. С Яндексом дело обстоит иначе – апдейты происходят раз в несколько дней, и между ними выдача остается относительно стабильной.

Текстовый апдейт Яндекса. Поисковый робот индексирует Интернет постоянно, находя новые страницы и обновляя информацию об уже известных. Эти страницы заносятся в базу, но до наступления текстового апдейта не участвуют в ранжировании. В день обновления выдача изменяется, и новая накопленная информация появляется в поиске. Это обновление и называется текстовым апдейтом.

Ссылочный апдейт. При его наступлении происходит пересчет влияния ссылок на позиции сайтов. Как и при текстовом апдейте, информация о внешних ссылках собирается постоянно, но пересчитывается только в конкретный день.

Обычно ссылочные апдейты происходят в один день с текстовыми. Но не обязательно, бывает что информация о страницах обновляется, а ссылочные факторы в этот день не пересчитываются.

Изменения алгоритма. Формула ранжирования Яндекса постоянно корректируется. Если эта корректировка происходит в день текстового или ссылочного апдейта, то мы не можем точно сказать – были ли изменения в алгоритме или же выдача поменялась просто из-за учета новой накопленной информации.

Но бывают дни, когда ни ссылочного, ни текстового обновления не было, а результаты поменялись. Это и говорит о каких-то корректировках в алгоритме ранжирования.

Апдейт ТИЦ. Тематический индекс цитирования (ТИЦ) – это показатель авторитетности сайта с точки зрения Яндекса. Ап ТИЦ в среднем бывает раз в два месяца. Само по себе это не оказывает никакого влияния на результаты поиска, скорее просто позволяет вебмастерам получить свежую информацию об уровне раскрученности своих сайтов.

Апдейты Google. Как я уже упоминал, результаты поиска в Google обновляются постоянно. Поэтому апдейтами Google называют какие-то серьезные изменения в алгоритмах, ввод новых фильтров и новых методов оценки сайтов.

Быстроробот. Как уже писалось, Яндекс обновляет свою базу раз в несколько дней. В большинстве случаев этого вполне достаточно. А что делать, если произошло какое-то громкое событие – обанкротился банк, например. Это проходит в новостях, вызывает публикации в блогах и обсуждение в форумах. Люди начинают искать информацию, а Яндекс им в ответ «в Багдаде все спокойно, банк работает в штатном режиме» – а все потому, что информация у Яндекса недельной давности.

Чтобы таких ситуаций не было, Яндекс и ввел быстроробота. Это индексирующий робот, собирающий информацию, которая нужна «прямо здесь и сейчас». Быстроробот способен добавлять документы в индекс и изменять выдачу между апдейтами.

Если документ добавлен в базу быстророботом, то возле него будет стоять дата индексации.

2.5. Домен и хостинг. Техническая оптимизация сайта

Выбор домена. О доменах долго говорить не буду. Очевидно, что имя для сайта лучше всего подобрать короткое и запоминающееся. Этого не всегда можно достичь, т. к. огромное число хороших доменов уже занято, но к этому нужно стремиться.

Заострю внимание на одном важном моменте-доменную зону нужно выбирать с учетом страны, в которой планируется продвигать сайт. Если Россия – то *.ru, если Украина – то *.ua. Если же сайт продвигается в нескольких странах, например в России, Белоруссии, Украине и Казахстане – то лучше брать международную зону – *.com, *.net, *.org и т. п.

Иногда возникает соблазн – привлекательный домен в *.ru занят, но есть такой же свободный в зоне *.сот. Не стоит этого делать, использование доменных зон, не совпадающих со страной продвижения, дополнительно усложняет раскрутку.

С недавнего времени появилась возможность покупать домены на русском языке, вида сайт. рф. Я несколько настороженно отношусь к таким доменам, как-то непривычно они выглядят на мой взгляд. Но в принципе это не более чем мое предубеждение, делать сайты на таких доменах и продвигать их вполне можно.

Хостинг. Практически все современные хостинги обеспечивают постоянную доступность сайта и круглосуточную тех. поддержку, так что особых рекомендаций по выбору не требуется. Желательно, чтобы сервера хостинга располагались в той стране, откуда ожидается максимальный поток посетителей.

Технические настройки сайта.

– любой Интернет-ресурс должен быть доступен в написании как с www., так и без него – посетители могут использовать оба варианта при ручном наборе адреса. Однако для поисковиков это формально два разных сайта с одинаковым содержимым. Обычно это не вызывает проблем, т. к. поисковые машины верно определяют главное зеркало сайта. Тем не менее, правильнее и надежнее настроить редирект с второстепенного варианта на основной. Как это сделать мы расскажем чуть ниже.

– если на сайте есть дубликаты страниц с разными адресами, но одинаковым содержимым, то это может отрицательно сказаться на продвижении. Классический пример-версия «для печати». Получается, что существует две страницы с идентичным содержимым, а это может существенно ухудшить позиции, если поисковая система ошибочно посчитает второстепенный вариант главным. Убедитесь, что все подобные технические страницы закрыты от индексации.

– если на сайте есть возможность поиска информации, то страницы с результатами также должны быть закрыты от индексации. Ведь поиск генерирует по сути «одноразовые» странички, но поисковики то этого не знают. И считают, что на вашем ресурсе существует огромное множество практически одинаковых материалов. Подробнее о том, как управлять правильной индексацией сайта будет описано в соответствующей главе.

– аналогично обстоит дело с идентификаторами сессий. Этот механизм используется для сбора статистики – каждому посетителю присваивается уникальный ID, который прибавляется к адресам страниц. Получаются УРЛ вида site.ru/page.php?sessionlD=i23. И поисковый робот при каждом заходе также будет получать свой ID и опять таки – каждый раз видеть формально «новые» страницы, со старым содержимым. Поисковые машины знают о подобном механизме и даже подготовили специальные инструкции, как избежать проблем при его использовании. Если на вашем сайте используются идентификаторы сессий, то внимательно изучите эти инструкции. Хотя, на мой взгляд существуют более правильные и удобные способы сбора информации о посетителях.

– большинство хостеров обеспечивают приличную скорость доступа к сайту. Тем не менее, иногда стоит проверять время загрузки ваших страниц. Если оно слишком велико, то это может негативно сказаться на позициях.

– на одном сервере хостинг-провайдера могут быть размещены до нескольких тысяч небольших сайтов. Это самые дешевые тарифы и они отлично подходят для большинства проектов. Но если на вашем ресурсе очень приличная посещаемость, то стоит подумать о переходе на более дорогой тарифный план, чтобы у вас было меньше «соседей» на сервере. Причины все те же – чтобы ускорить скорость загрузки сайта.

Как я уже упоминал, правильные настройки и высокая скорость загрузки не улучшат ваших позиций в поисковых системах. А вот повлиять в минус очень даже могут. При наличии ошибок ваш сайт может быть даже полностью удален из индекса, поэтому перед запуском проекта стоит уделить некоторое время технической оптимизации.