Как создать сайт удобный для поисковой системы Yandex   Руководство по оптимизации сайта для чайников.               

Как добавить сайт в поисковую систему Яндекса?

 

Хочу поделиться некоторыми советами с теми людьми, которые интересуются темой раскрутки и оптимизации сайтов. Если вы делаете первые шаги в этом нелегком деле, то данная статья будет вам весьма кстати. Возможно все намного проще, чем вы думали. И прочитав данную статью вы для себя откроете какие-то секреты.

Итак поехали!

Для начала скажу, что специально добавлять ваш сайт Вам может и  не потребуется - если ссылки на ваш сайт есть на страничках, каких нибудь других других сайтов в Интернет, то он автоматом будет найден поисковой системой, и, скорее всего, Яндекс его проиндексирует. Если ссылок на сайт еще нет, вы можете воспользоваться формой «Добавить сайт», чтобы сообщить роботу Яндекс о существовании вашего ресурса.

Обратите внимание, что добавление ссылки не гарантирует, что сайт будет проиндексирован вообще или что сайт будет проиндексирован быстро.

Я недавно добавил  свой сайт в Яндекс, а он до сих пор не проиндексирован!

Возможно, с момента добавления вашего сайта, прошло не так уж много времени. Подождите немного

Добавление ссылки на ваш сайт не гарантирует, что он будет проиндексирован Яндексом вообще, это лишь один из способов сообщить роботу поисковой системы Яндекс, что в Интернет появился новый сайт. Добавление полезно, если на сайт еще нет ссылок или их число не еще не очень значительно - так робот Яндекса быстрее обнаружит ваш сайт.

Пожалуйста проверьте, не было ли сбоев на вашем сервере в то время, когда робот Яндекса обращался к вашему сайту. Если сервер выдает ошибку, робот Яндекса уходит, и повторно дойдет до вашего сайта в порядке общего обхода.

Сотрудники Яндекса не могут ускорить добавление вашего сайта в поисковую базу Яндекса.

Как узнать, проиндексирован мой сайт или нет, и какие страницы есть в индексе Яндекса?

Зайдите на http://webmaster.yandex.ru/ Нажмите ссвлку «Проверить сайт». Введите в форме «Проверить сайт» адрес своего сайта, либо воспользуйтесь операторами языка запросов host или rhost. В некоторых случаях страницы могут временно не показываться, несмотря на то, что они уже проиндексированы поисковой системой Яндекс.

Сколько времени нужно ждать, чтобы мой сайт попал в поисковую систему Яндекс?

Мы не прогнозируем сроки индексации ваших сайтов, и не даем никаких гарантий, что тот или другой сайт будет проиндексирован Яндексом. Как правило, от момента узнавания нашим роботом о вашем сайте до появления ваших страниц в результатах поиска Яндекса проходит от нескольких дней до двух недель.

Яндекс совсем не индексирует мой сайт. Почему это происходит?

Если какой-либо сайт еще не проиндексирован Яндексом, это не означает, что он неизвестен нашему роботу, возможно, робот Яндекса еще не дошел до него, либо индексация вашего сайта запрещена.

Почему индексация моего сайта может быть запрещена?

Индексация  вашего сайта может быть запрещена по разным причинам, либо по техническим причинам, если он нарушает стандарты и его невозможно нормально проиндексировать, либо за применение вашим сайтом поискового спама.

Почему Яндекс проиндексировал так мало страниц на моем сайте?

Возможно, прошло не очень много времени с того момента, когда робот Яндекс узнал о вашем сайте.

Может быть, все ссылки на вашем сайте созданы с помощью специальных скриптов, и робот Яндекса их просто не понимает. Измените эти скрипты, или сделайте специальную карту вашего сайта, где будут указаны прямые “url” на все страницы вашего сайта.

Проверьте, не было ли перебоев в работе на вашем сервере в тот самый момент, когда робот Яндекса обращался к вашему сайту. Робот Яндекса, получив от сервера информацию об ошибке, уходит, и повторно дойдет до вашего сайта, только в порядке общего обхода и никак не раньше.

Если с вашим сервером и структурой вашего сайта все в норме, тогда не стоит беспокоиться, остальные страницы вашего сайта постепенно проиндексируются Яндексом, в самое ближайшее время. В интернете миллионы страниц, и наша поисковая система не может отдавать большое предпочтение одним ресурсам в ущерб другим.

Мой сайт сильно изменялся, а в Яндексе все по-прежнему. Тиц не растет. Что посоветуете предпринять?

Лучше всего дождаться переиндексации. Если ваш сайт долго не меняется, робот Яндекса начинает заходить на него все реже, и реже, но он все равно про него не забывает.

Мой сайт переехал (изменился URL сайта). Что нужно предпринять?

Сообщите роботу Яндекс про ваш новый сайт через форму «Добавить сайт». Если между страницами вашего старого и вашего нового сайта сохранилось однозначное соответствие, вам нужно проверить, чтобы сервер, где расположен старый сайт, выдавал при обращении по старому URL ошибку номер 301 («Moved Permanently»), а поле Location должно указывать на соответствующий URL вашего нового сайта. Если ваш старый сайт был полностью закрыт, можете прискорить его удаление из Яндекса, используя форму «Удалить URL».

Может ли робот Яндекса не индексировать указанные (служебные) участки текста?

Робот поисковой системы Яндекса, как и все современные поисковые системы поддерживает тег noindex, который позволяет решить эту проблему. В начале служебного фрагмента поставьте < noindex >, а в конце - < /noindex >, и Яндекс не будет индексировать данный участок текста.

У меня сайт на иностранном домене - Яндекс его будет индексировать?

Если на нем есть русский текст и робот Яндекса сможет его распознать, ваш сайт будет проиндексирован полностью автоматически. Если русского текста на вашем сайте нет, но вы думаете, что ваш ресурс будет интересен пользователям Яндекса, Вы можете написать письмо  в службу поддержки Яндекса, указав адрес вашего сайта и просьбой проиндексировать его.

Я добавил в Яндекс сайт через сервис автоматической регистрации в поисковых системах. Почему он не проиндексирован?

Добавлять сайты в нашу поисковую машину можно только при помощи формы на странице «Добавить URL». Согласно Лицензии на использование поисковой системы Яндекса, страницы, добавленные через автоматическую систему, не будут включены в базу.

Что такое робот поисковой системы и что он делает?

Робот (англ. crawler) хранит список URL(ссылок), которые робот может проиндексировать, и регулярно выкачивает соответствующие им документы с сайта. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

Что не так с моим файлом robots.txt? Почему Яндекс не подчиняется тому, что там написано?

У нас нет такой возможности, проверять вручную все robots.txt, для каждого сайта. Прочитайте повнимательней описание стандарта исключений для файла robots.txt, также существуют специальные скрипты, воспользовавшись,  которыми вы можете анализировать файл robots.txt и этот скрипт сообщает, какие именно документы вы запретили для робота поисковой системы Яндекс.

Может ли помочь переиндексации директива Revisit-After?

Робот Яндекса ее будет игнорировать.

Что будет делать робот со страницей, на которой стоит redirect? А если используется директива refresh?

Как того требует стандарт протокола HTTP, робот Яндекс, получив в заголовке ответа информацию, что данный URL является редиректом (коды 3хх), добавит в список адресов для обхода URL, на который ведет редирект. Если редирект был постоянный (код 301), либо на странице встретилась директива refresh, то старый URL будет исключен из списка обхода.

А как в логах сервера называется робот поисковой системы Яндекса?  Робот Яндекса «ходит» с одного и того же IP-адреса?

У поисковой системы Яндекс есть несколько роботов, которые могут представляться по-разному.

• Yandex/1.01.001 (compatible; Win16; I) - основной индексирующий робот Яндекса
• Yandex/1.01.001 (compatible; Win16; P) – Яндекс-робот индексатор картинок
• Yandex/1.01.001 (compatible; Win16; H) - Яндекс-робот, определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) – Яндекс-робот, индексирующий пиктограммы сайтов (favicons)
• Yandex/1.03.003 (compatible; Win16; D) – Яндекс-робот, обращающийся к странице при добавлении ее через специальную форму «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) – Яндекс-робот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) – Яндекс-робот, индексирующий страницы сайтов, которые участвуют в Рекламной сети Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут периодически меняться. Данный список адресов мы никому не разглашаем.

Кроме роботов у поисковой системы Яндекс есть несколько агентов-«простукивалок», которые могут определять, доступен ли в данный момент ваш сайт или документ, на который стоит ссылка в соответствующем сервисе.

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) - «простукивалка» Яндекс.Каталога. Если ваш сайт будет недоступен несколько дней, он снимается с публикации. Как только сайт начнет отвечать на запросы, то он автоматом появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) - «простукивалка» Яндекс.Закладок. Ссылки на сайты, которые недоступны отмечаются «сереньким» цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) - «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Не предпринимается никаких автоматических действий
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) - «простукивалка» Яндекс.Новостей. Эта «простукивалка» формирует отчет для контент-менеджера, который может оценить масштаб проблем и, при необходимости, может связаться  с партнером.

У меня сайт, который создан при помощи Flash-технологий, Яндекс его проиндексирует?

Ответ утвердительный, поисковая система Яндекс индексирует Flash-документы.

На моем сайте присутствует много страниц в разных форматах – (RTF, PDF, DOC, XLS и т.д.) Яндекс их  проиндексирует?

Поисковая система Яндекс, кроме существующего стандартного формата HTML, индексирует еще и вот такие форматы: PDF, DOC, RTF и Flash.

Насколько может быть критичным то, что сервер, который я использую, не выдает last-modified? Я пробовал настроить самостоятельно, но у меня ничего не получилось.

Первое - в результатах поиска Яндекса не будет показана дата рядом со страничками вашего сайта, а при сортировке по дате сайт не будет виден большинству посетителей. Второе – робот Яндекса не сможет получить информацию о том, обновилась ли страница вашего сайта с момента последней индексации, а так как количество страниц, получаемых роботом Яндекса с сайта за один заход, ограничено, изменившиеся страницы вашего сайта будут переиндексироваться роботом Яндекса, значительно реже.

Сервер, который я использую, не выдает кодировку, насколько это критично? Я сам пробовал настроить, но у меня ничего не получилось.

Робот Яндекса очень хорошо определяет кодировку документов, поэтому отсутствие кодировки в заголовках сервера не помешает индексации сайта роботом Яндекса.

Мой сайт создан при помощи фреймов. Поисковая система Яндекс в результатах поиска показывает внутренние страницы сайта. Что нам делать, ведь вся навигация разрушена?

Страница может с помощью JavaScript проверить, открыт ли родительский фрейм с навигацией, а если нет, открыть его.

Ваш робот пытается скачать битые ссылки с моего сайта. Почему?

Робот Яндекса берет ссылки на ваш сайт с других страниц в Интернет, и если ссылки «битые», значит, на какой-то странице указаны некорректные ссылки указывающие на ваш сайт. Вероятно, вы изменили структуру сайта, и ссылки, стоявшие на других веб-страницах, стали некорректными или кто-то просто допустил ошибку, и указал неправильную ссылку на ваш сайт.

Роботы Яндекса перегружают мой сервер. Пожалуйста, прекратите это безобразие!

Вы можете сами управлять поведением роботов Яндекса, используя файл /robots.txt. Напишите в нем запрет для робота Яндекса и он перестанет заходить на ваш сайт.

Робот Яндекса  пытался скачать сверхсекретную информацию с моего  сервера. Прошу вас, прекратите это делать.

Робот Яндекса берет ссылки с других страниц в Интернет, значит, на какой-то странице располагаются ссылки, указывающие на секретные данные на страницы вашего сайта. Если хотите можно, как закрыть их паролем, так и указать явный запрет для робота Яндекса в файле /robots.txt, в обоих случаях робот Яндекса не будет скачивать секретную информацию с ваших страниц.

Страницы моего сайта иногда, периодически пропадают из результатов выдачи поиска. С чем это может быть связано?

Поисковая система Яндекс имеет кластерную архитектуру. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.

Возможно ли помочь роботу Яндекса быстрее индексировать страницы моего сайта?  Опишите подробно, что для этого нужно делать?

Если вы хотите, что бы все странички вашего сайта поскорее появились в индексе Яндекса, то вам нужно, для начала исключить из индексации всю ненужную информацию, дальше, нужно чаще сообщать роботу о новых страничках на вашем сайте:

• Вам нужно будет запретить в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
• Вам нужно будет создать специальную карту сайта(sitemap), то есть страницу или несколько страниц, на которых есть ссылки на все документы сайта; Сейчас существует множество сервисов для создания sitemap
• Вам нужно будет сделать так, чтобы выдавались корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменилась);
• каждой уникальной странице вашего сайта, по возможности, должен отвечать  только один URL. Частая причина появления дубликатов - генерация сайтом URL с незначащим параметром, изменение которого не приводит (или не всегда приводит) к изменению страницы.

Меня не совсем устраивает заголовок и описание моего сайта, которые выводятся в результатах поиска. Каким образом я могу это изменить?

Описание для вашего сайта составляется полностью автоматически на основе цитат взятых из текста вашего документа, а заголовок - на основе тега документа title. Поменяйте тексты и заголовки документов на вашем сайте, тем самым вы поменяете и описание сайта в результатах поиска Яндекса.

Я видел рядом с другими сайтами, в результатах поиска показывается маленькая пиктограмма. Я тоже хочу себе такую. Как это можно сделать?

Нужно закачать на сервер, в корневую папку вашего сайта файл favicon.ico - это небольшая картинка (иконка) размером 16 на 16, в специальном формате. Она отображается рядом с адресом вашего сайта в адресной строке браузера и рядом с названием вашего сайта в "Избранном" или в "Закладках" вместо, одинаковой для всех стандартной иконки. Подробнее об этом можно узнать в специальном разделе помощи.

Как мне указать географическую принадлежность моего сайта?

Если сайт описан в Яндекс.Каталоге, географическая принадлежность сайта определяется вручную; иначе предпринимается попытка определить его географию автоматически. На первом этапе на основании IP-адреса, URL и языка текстов на сайте производится классификация по странам. На втором этапе сайты, отнесенные к России, классифицируются по городам. Кроме IP и домена анализируются страницы сайта, где ищутся блоки текста, похожие на контактную информацию. Поэтому наиболее простой способ указать географию ресурса - разместить на сайте полный (с индексом, телефонным кодом и именем города) и корректный адрес владельца.

Географическая принадлежность сайта важна при поиске с ограничением по региону, когда сайты из других регионов не показываются.

Основные принципы:

• Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.
• Думайте о пользователях, а не поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?
• Ставьте ссылки, интересные пользователям вашего ресурса, помогающие найти связанную информацию или проанализировать предложение. Не ссылайтесь только потому, что вас попросили сослаться.
• Дизайн вашего сайта должен помогать посетителям. Пользователи должны  увидеть главную информацию, ради которой ваш сайт и создавался.
• Старайтесь быть честными. Не используйте ключевые слова не связанные с содержанием вашего сайта. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Обманутые пользователи уйдут и, возможно, вместе с ними уйдет с сайта робот поисковой системы.

Примеры к принципам:

Если в этом разделе не описан какой-то прием, помогающий повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и духу описанных выше принципов.

Поисковая система Яндекс старается не индексировать или не ранжировать высоко:

• автоматически сгенерированный (бессмысленный) текст;
• сайты, копирующие информацию с других ресурсов и не создающие оригинального контента или сервиса;
• сайты, представляющие товары или информацию по партнерским программам, но не создающие для пользователя никакой добавленной ценности;
• страницы с невидимым или слабовидимым текстом или ссылками;
• сайты, отдающие разный контент пользователю и роботам поисковых систем («клоакинг»);
• страницы и сайты, единственной целью которых является перенаправление пользователя на другой ресурс, автоматически («редирект») или добровольно (реклама без контента);
• сайты, на которых из-за обилия навигационных меню, новостей, вспомогательной информации, рекламы трудно найти их основное содержание;
• страницы и сайты, ставящие ссылки исключительно для обмана поисковых систем и накачивания релевантности;
• сайты или группы сайтов, интенсивно ссылающиеся друг на друга («линкфармы»);
• ссылки, не являющиеся рекомендацией автора посетить ресурс.

Источник: http://webmaster.yandex.ru/faq.xml