|
1.Сообщить о новом сайте поисковому роботу Яндекс Вы можете посредством сервиса «Add Url» по адресу: http://webmaster.yandex.ru/addurl.xml .
2.Для того, чтобы робот при обходе Вашего сайта проиндексировал все странички, рекомендуем Вам добавить файл sitemap.xml. Это специальный формат карты сайта, разработанный для удобства поисковых систем и веб-мастеров. Данный формат поддерживается всеми крупными поисковыми системами, в том числе и Яндексом. Карта сайта sitemap.xml состоит из следующих строк:
- <?xml version="1.0" encoding="UTF-8"?> - формат и кодировка
- <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> - генератор карты
- <loc>http://example.com/</loc> -URL страницы
- <changefreq>monthly</changefreq> - частота обоновления
- <priority>0.8</priority> - приоритетность страницы
На сегодняшний день sitemap.xml является одним из обязательных атрибутов «правильного» сайта.
3.Еще одним важным файлом является robots.txt. Этот файл также предназначен для роботов поисковых систем. В этом файле можно задать параметры для всех роботов сразу, либо для каждого по отдельности.
Ниже представлены три самых важных параметра, которые указываются в robots.txt:
-Dissalow. Данная директива используется для запрета от индексирования отдельных страниц или разделов сайта. С ее помощью можно закрыть технические, личные иди не представляющие для пользователя интереса страницы. К таким страницам относятся различные базы данных, логи, статистика посещаемости сайта и т.д.
-Crawl delay. Директива позволяет указать роботу поисковой системы минимальный промежуток между обращениями к страницам сайта. Параметр полезен для крупных проектов, содержащих тысячи страниц, так как поисковый робот Яндекса может создать большую нагрузку на сервер. Чтобы избежать этого, следует ограничить количество обращений в две секунды. К примеру, директива Crawl-delay: 3 укажет роботу, что интервал между обращениями к серверу должен составлять три секунды.
Список проиндекисрованных страниц и корректность файлов sitemap.xml и robots.txt Вы всегда можете просмотреть, добавив сайт в веб-панель Яндекса по адресу webmaster.yandex.ru.
4. Поисковая система Яндекс индексирует все основные типы документов, распространенных в Сети. Однако существуют ограничения, речь о которых пойдет ниже:
- К ухудшению индексирования документа может привести чрезмерно длинные URL c большим количеством cgi - параметров.
- Документы, размером больше 10 Мб, не индексируется.
- Индексирование Flash:
1.) Индексируется, если он встроен в HTML при помощи тегов <OBJECT> и <EMBED> или их комбинаций;
2.) Индексируется, если он не встроен в HTML, но страница передается с HTTP-заголовком со следущим содержанием: Content Type: application/x-shockwave-flash;
3.) Индексируются файлы с расширением *swf, при наличии на них прямой ссылки.
- В документах, с расширением PDF индексируется только текстовое наполнение. Представленный в виде картинок текст не индексируется.
5. Версии сайта для просмотра на мобильных устройствах рекомендуется выносить на поддомен (субдомен).
|