Рекомендации от Яндекса

1.Сообщить о новом сайте поисковому роботу Яндекс Вы можете посредством сервиса «Add Url» по адресу: http://webmaster.yandex.ru/addurl.xml .

2.Для того, чтобы робот при обходе Вашего сайта проиндексировал все странички, рекомендуем Вам добавить файл sitemap.xml. Это специальный формат карты сайта, разработанный для удобства поисковых систем и веб-мастеров. Данный формат поддерживается всеми крупными поисковыми системами, в том числе и Яндексом.  Карта сайта sitemap.xml состоит из следующих строк:

• <?xml version="1.0" encoding="UTF-8"?> - формат и кодировка
• <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> - генератор карты
• <loc>http://example.com/</loc> -URL страницы
• <changefreq>monthly</changefreq> - частота обоновления
• <priority>0.8</priority> - приоритетность страницы

На сегодняшний день sitemap.xml является одним из обязательных атрибутов «правильного» сайта.

3.Еще одним важным файлом является robots.txt.  Этот файл также предназначен для роботов поисковых систем. В этом файле можно задать параметры для всех роботов сразу, либо для каждого по отдельности.

Ниже представлены три самых важных параметра, которые указываются в robots.txt:

-Dissalow. Данная директива используется для запрета от индексирования отдельных страниц или разделов сайта. С ее помощью можно закрыть технические, личные иди не представляющие для пользователя интереса страницы.  К таким страницам относятся различные базы данных, логи, статистика посещаемости сайта и т.д.

-Crawl delay. Директива позволяет указать роботу поисковой системы минимальный промежуток между обращениями к страницам сайта. Параметр полезен для крупных проектов, содержащих тысячи страниц, так как поисковый робот Яндекса может создать большую нагрузку на сервер. Чтобы избежать этого, следует ограничить количество обращений в две секунды. К примеру, директива Crawl-delay: 3 укажет роботу, что интервал между обращениями к серверу должен составлять три секунды.

Список проиндекисрованных страниц и корректность файлов sitemap.xml и robots.txt Вы всегда можете просмотреть, добавив сайт в веб-панель Яндекса по адресу webmaster.yandex.ru.

4. Поисковая система Яндекс индексирует все основные типы документов, распространенных в Сети. Однако существуют ограничения, речь о которых пойдет ниже:

• К ухудшению индексирования документа может привести чрезмерно длинные URL c большим количеством cgi - параметров.
• Документы, размером больше 10 Мб, не индексируется.
• Индексирование Flash:

1.)     Индексируется, если он встроен в HTML при помощи тегов <OBJECT> и <EMBED> или их комбинаций;

2.)     Индексируется, если он не встроен в HTML, но страница передается с HTTP-заголовком со следущим содержанием: Content Type: application/x-shockwave-flash;

3.)     Индексируются файлы с расширением *swf, при наличии на них прямой ссылки.

• В документах, с расширением PDF индексируется только текстовое наполнение. Представленный в виде картинок текст не индексируется.

5. Версии сайта для просмотра на мобильных устройствах рекомендуется выносить на поддомен (субдомен).