Как проиндексировать сайт добавить в поисковики Гугл Яндекс Mail (проверить индексацию страниц)

Коротко о главном — возможна ли индексация сайта в поисковых системах Google и Yandex, и доступно ли это обычным смертным. Как добавить сайт в поисковики быстро, и что для этого нужно.

Попасть в результаты легендарного поисковика Google очень просто. При этом не нужно платить деньги или что-то вкладывать материальное взамен на опубликованную страницу в миллиардах других страниц.

Компания Google проверяет миллиарды сайтов, прежде чем одобрить их в поисковые запросы. Этим занимаются огромное количество поисковых ботов. Если ваш сайт до сих пор не найден и не опубликован в результатах поиска, вероятно вы нарушили установленные правила либо роботы попросту не успели просканировать ваш сайт.

Как добавить свой сайт в поиск Google:

Сделать это невероятно просто. Необходимо скопировать корректную ссылку вашего сайта (URL) и отправить на соответствующую страницу сервиса Google, для проверки ими и дальнейшей индексации сайта. Обратите внимание на то, что Google не обещает, что ваш сайт подойдёт по критериям и будет успешно проиндексирован. После этого клацаем левой кнопкой мыши в графе "Я не робот", и работа сделана.

Отправить сайт на индексацию можно по ссылке.

Как узнать, есть ли сайт в результатах поиска:

Всё очень просто. Достаточно в поисковую строку Google ввести URL собственного сайта, и результат не заставит себя ждать. Если сайт будет отсутствовать, значит индексация ещё не прошла.

Что нужно для появления вашего сайта в поиске:

1. Безопасность. Не обязательно, но желательно наличие защищенного протокола HTTP Secure (https).

2. Мой бизнес Google. В специальном "уголочке" Google есть функция "Мой бизнес", в котором компания хочет видеть информацию о вашем бизнесе, то есть вашем сайте. Указание такой информации позволит повысить шансы на индексацию сайта роботами.

3. Контент. Уверенны ли вы в том, что на вашем сайте уникальный и качественный контент? Если нет — займитесь этим, потому что без данного критерия ваш сайт обречён на фиаско в индексации.

4. Адаптация под устройства. В век современных технологий в интернет имеют выход не только компьютеры, но и другие цифровые устройства, например смартфон, планшет и другие. У всех этих устройств разное восприятие сайта, и вы должны удостовериться, что на каждом из них сайт адаптирован комфортно для пользователя.

Подходя по всем выше описанным критериям вы увеличиваете шансы индексации собственного сайта до максимального, поскольку в основном это и есть рекомендации самого Google.

Вообще, поисковики узнают о новых сайтах переходя по ссылкам с других ресурсов. Если на сайт не ведёт ни единой ссылки, то маловероятно, что он появится в выдаче.

Начну с того, что поисковые системы находят новые веб-страницы с помощью своих роботов (поисковых ботов), которые ходят по ссылкам и если находят что-то новое, то добавляют в очередь на индексацию.

Крупнейшие поисковые системы предлагают вебмастерам специальные формы добавления новых сайтов или отдельных страниц, эти формы ещё называют аддурилками (от словосочетания Add URL). Ниже я приведу список наиболее популярных ПС, которые имеют такую возможность и опубликую ссылки на формы.

Добавить сайт в Яндекс

Яндекс — самая популярная поисковая система в рунете, с неё я и начну. Именно под Яндекс большинство вебмастеров оптимизируют свои сайты и регулярно следят за индексом качества сайта после отмены ТИЦ и закрытия каталога.

Отправить URL на индексацию в Яндекс могут только зарегистрированные пользователи сервиса Яндекс Вебмастер с помощью инструмента Переобход страниц — он расположен в разделе Индексирование.

Вот ссылка для добавления нового сайта в Яндекс Вебмастер:
https://webmaster.yandex.ru/sites/add/

Добавить сайт в Google

Google также является поисковиком №1, но уже не в России, а во всём мире! Приобрёл наибольшую популярность в западных странах, а в рунете занимает почётное второе место среди пользователей.

С недавних пор Google закрыл инструмент Submit URL и единственной возможностью отправить новую страницу на индексирование осталось воспользоваться функцией Просмотреть как Googlebot в разделе Сканирование:

Просмотреть как Googlebot

Укажите адрес страницы или оставьте поле URL пустым, чтобы получить содержание главной страницы, затем нажмите кнопку Запросить индексирование. Повторное сканирование произойдёт в течение нескольких минут после нажатия кнопки Отправить. Перед этим потребуется пройти проверку reCAPTCHA и выбрать способ сканирования:

Сканировать только этот URL
Сканировать этот URL и прямые ссылки
Чтобы добавить сайт в Google Search Console нужно перейти по ссылке:
https://www.google.com/webmasters/tools/

Добавление сайта в панель вебмастера Яндекс

Прежде всего необходимо сначала зайти в панель вебмастера. Чтобы воспользоваться ею, вам нужно быть залогиненым в Яндексе, то есть иметь свою почту на данном сервисе и войти в свой аккаунт.

Когда зайдете по ссылке выше, то окажетесь на странице, вверху которой нужно нажать на ссылку для добавления нового сайта.

На следующей странице нужно ввести домен добавляемого сайта.

После его добавления вам потребуется подтвердить права на владения сайтом. На следующей странице будет предложено несколько вариантов, как это можно сделать, но нас интересует именно первый способ с помощью загрузки файла верификации в корневую директорию сайта.

Скачиваете этот файл, нажав на соответствующую ссылку (см. ниже), загружаете его в корень сайта на хостинг и подтверждаете права.


На хостинге он должен находится в корне сайта. Если у вас сайт на WordPress, то необходимо его закинуть ко всем файлам самого движка, как я показал на скриншоте ниже.

Когда вы зальете файл и попробуете подтвердить права на сайт, вас должно перекинут на страницу, где будет вся информация о сайте. Это при условии, если вы все сделали правильно. Будет следующая картина.


На этом вы добавили сайт в панель вебмастера Яндекс. Осталось доделать один штрих, который я всегда рекомендую делать сразу - добавить путь к XML карте сайта в панель веб-мастера, чтобы сайт сразу начал нормально индексироваться. Если ее у вас нет, то в обязательном порядке сделайте.

Чтобы оповестить Яндекс о карте, необходимо в левом навигационном меню панели вебмастера войти в пункт "Настройка индексирования - Файлы Sitemap".



И далее ввести путь к карте сайта в формате XML и добавить его, после чего он поступит в обработку, если никаких ошибок не будет обнаружено.


Как видите, у меня все нормально и в ближайшее время карта сайта будет успешно работать. Об этом будет свидетельствовать галочка в статуса.

Такая же ситуация должна быть и у вас спустя некоторое время.

Добавление в панель вебмастера Google

Чтобы воспользоваться панелью вебмастеров от гугл, вам также потребуется быть залогиненым в данной поисковой системе. Нужно будет создать почту на Gmail.com, войти в нее и тогда можно приступать к процедуре.

Входим в панель вебмастера по данной ссылке и в правом верхнем углу жмем на кнопку "Добавить сайт" и затем вводим адрес сайта во всплывающем окне.

На следующей странице по аналогии с предыдущим пунктом нужно будет подтвердить права на владение сайтом. Делается все точно также. Скачиваете файл, а затем загружаете его в корень сайта на хостинг.


Вы можете сделать так, но я хочу предложить другой вариант данной процедуры. Он подойдет всем, у кого на сайте стоит плагин для SEO оптимизации блога - All in one seo pack.

У него имеется специальный блок, который позволяет подтверждать права без загрузки каких-либо файлов. Называется он "Настройки для Вебмастера". В него нам нужно вставить код верификации, который можно взять из альтернативных способов подтверждения прав на той же странице в панели вебмастера.

Данный код мы размещаем в первое поле в блоке "Настройки для Вебмастера" плагина All in one seo pack.

Естественно, после этого обновляем настройки плагина и пытаемся подтвердить права, нажав на кнопку "Подтвердить" на той же странице.

Если все сделали правильно, то окажитесь на следующей странице, где будет предоставлена информация о вашем сайте. Конечно ее пока не будет, так как сайт только добавленный, но будут соответствующие пункты для управления сайтом, для статистики об ошибках и поисковых запросах.

На этом тут также все. Но опять же я предлагаю сразу оповестить Google о нашей XML карте. Для этого переходим в левом навигационном меню в пункт "Сканирование - Файлы Sitemap".

На следующей странице в правом верхнем углу жмете на кнопку для добавления адреса карты и вводите его в появившемся окне, после нажатия.


После этого, если ваша карта создана и нормально работает, она появится на этой же странице немного ниже и будет обработана.


Добавление в панель вебмастера Mail

Я не вижу сильной надобности в данной процедуре, но видел случаи, когда сайт приносит очень хороший трафик именно с поисковой системы Mail.ru. Поэтому, если имеется шанс, что у нас будет хороший трафик с нее, то можно и добавить сайт в данную панель вебмастера. Это быстро, а результат может оказаться впечатляющим.

Чтобы добавить сайт, необходимо войти в аккаунт Mail, то есть почты от данной ПС.

Тогда можно переходить по следующей ссылке и приступать к процессу добавления ресурса в данную поисковую систему.

Слева вверху жмем на кнопку "Добавить сайт" и вводим адрес сайта с капчей.


Далее подтверждаем права, закачав файл верификации в корень сайта. Ссылка на скачивание файла вам также дается.

После закачки файла в корневой каталог и подтверждения прав, сайт появится в списке доменов, где я сразу рекомендую заполнить все необходимые данные для сайта, в том числе и путь к XML карте.

Для этого жмете на пиктограмму редактирования в колонке "Мета".

Заполнение я описывать не буду. Там все интуитивно понятно. Хотя, если возникнут какие-то вопросы, то я показал это в видео. Также имеются комментарии, где я на все отвечу.

Ну что же. На этом процесс добавления сайта в панели вебмастеров различных поисковых систем закончили. Осталось дать ответ на последний пункт, чтобы тема статьи была полностью раскрыта.

Добавление сайта через инструмент добавления URL

Данный способ оповещения поисковых систем о выходе новых сайтов или же о выходе новых материалов на вашем ресурс будет полезен, когда необходимо быстро оповестить поисковики об их выходе и быстро закинуть в индекс.

То есть мы не ждем пока роботы ПС зайдут к нам на сайт и найдут новые материалы. Мы сами их об этом оповестим. И это один из способов ускорения индексации сайта, когда мы помогаем поисковым роботам понять, как часто на сайте появляются материалы, чтобы они все время заходили и подхватывали новый контент уже без нашего участия.

В каждой поисковой системе существует свой инструмент для добавления страницы в поисковую систему. Вот даю вам список таких адресов, перейдя на которые вы можете добавлять свои новые материалы в каждую из поисковых систем.

Google - https://www.google.com/webmasters/tools/submit-url?continue=/addurl
Яндекс - http://webmaster.yandex.ua/addurl.xml
Bing - http://www.bing.com/toolbox/submit-site-url
Nigma - http://www.nigma.ru/index_menu.php?menu_element=add_site
Mail - http://go.mail.ru/addurl
При переходе на каждый из сервис вам будет предоставляться поле для ввода адреса страницы и может еще проверку в виде капчи. Описывать выполнение данной процедуры для каждого поисковика не вижу смысла. Там все очень просто и сходу понятно.

Ресурс понравится поисковику, если он доведен до ума:

линки — работают,
тексты — уникальны,
страницы — доработаны.

Проблемы с индексацией могут возникнуть именно из-за того, что страницы «сырые», перегружены выпадающими блоками, ресурс неправильно структурирован, излишне иллюстрирован или не раскрывает заявленную тему. Причин может быть много.

На основе своих наблюдений могу сказать, что в индекс попадают абсолютно все сайты, даже самые неказистые. А требуется на это примерно 3-4 недели.

Правильная оптимизация сайта по всем правилам – это отдельная тема. В качестве примера можете взять мой блог. У меня не всё идеально, но основные моменты учтены =)


Процесс добавления

Для того чтобы добавить сайт, нужно сначала создать свой аккаунт в поисковике, будь то Гугл, Яндекс или майл, исключение составляют Рамблер и Yahoo. После регистрации появляется доступ к кабинету вебмастера, туда нужно добавить свой сайт.

Вот необходимые ссылки:

https://www.google.com/webmasters — кабинет для вебмастеров в Google
https://webmaster.yandex.ru — кабинет для вебмастеров в Яндексе
Далее, алгоритм действий следующий:

Необходимо указать адрес ресурса

Пройти аутентификацию – доказать, что сайт регистрирует владелец, имеющий на это правоПодтверждение прав на сайт
Создать карту вебсайта и сообщить об этом поисковой системе. Она поможет поисковому роботу оценить потенциал нового портала, быстро проиндексировать все страницы. Для создания карты обычно используют плагин для WordPress — GoogleXML-SiteMap

А также желательно создать файл robots.txt, который говорит поисковым роботам, какие страницы нужно индексировать, а какие – нет. Этот файл необходимо загрузить в корневую папку сайта. Как правильно создать этот файл robots.txt — отдельная тема.

Инструкция была приведена на примере вебмастера Яндекса. В google и других поисковиках инструкция примерно такая же.

Аддурилки – что это и с чем их едят?

Крупнейшие системы поиска: Яндекс и Гугл — располагают специальными формами, заполнив которые можно надеяться на более оперативное появление новой веб-странички в сети. Их называют аддурилками.

Для получения желаемого результата достаточно указать адрес страницы и заполнить окошко с каптчей (если нужно).

Аддурилка Яндекса: https://webmaster.yandex.ru/addurl.xml
Аддурилка Гугла: https://www.google.com/webmasters/tools/submit-url

Как видите, работа по добавлению сайта и его страниц в поисковики – не сложная, однако если есть желание раскрутить сайт, поднять его высоко в топе, то нужно, как минимум:

своевременно обновлять контент сайта,
систематически публиковать новые материалы,
контролировать уникальность текстов,
одним словом, делать все, чтобы веб-ресурс был «живым», рос и развивался, а не оставался макетом.


Ускорение индексации с помощью ссылок

Современные поисковики самостоятельно распознают и индексируют новые интернет ресурсы. Но для того чтобы это произошло быстрее, на новый портал должны вести внешние ссылки с других сайтов. О том, как разместить подобные ссылки – разговор отдельный. Вкратце, вариантов несколько:

Обмен линками между сайтами

Подводный камень виден даже с поверхности: крупные, раскрученные ресурсы не заинтересованы в размещении рекламных ссылок новичков, поскольку те ничего не могут дать взамен. В данном случае вероятен вариант платных перенаправлений, но они выгодны только в том случае, если владелец уверен, что его ресурс в скором времени начнет приносить хороший доход и окупит вложения.

А вообще поисковики наказывают за обмен ссылками и за их покупку =) Все ссылки должны появляться естественно.

Размещение гиперссылок в каталогах поисковых систем
В интернете работают электронные каталоги, содержащие упорядоченную информацию о сайтах согласно их тематике. Регистрация в каталогах существенно повысит вероятность популяризации ресурса. Сделать это можно как бесплатно, так и платно.

Подобрав подходящие каталоги, зарегистрируйте в них свой сайт и ожидайте результатов.

Вот три самых известных каталога:

Для того чтобы зарегистрироваться в каталоге Яндекс, нужно заполнить форму, перейдя по ссылке http://catalog.yandex.ru/
Для регистрации в Рамблер: http://top100.rambler.ru/
Каталог Гугл: http://dmoz.org

До того, как добавить сайт в поисковики, необходимо удостовериться, что ресурс готов к индексации. Все страницы ресурса должны быть заполнены контентом, оптимизированы и разрешены к индексации, то есть, не запрещены файлом robots.txt.

Чтобы упростить процесс добавления сайта в поисковую систему, нужно заранее приготовить текстовый документ, в котором будут заполнены поля, наиболее часто встречающиеся при регистрации в поисковиках.

Перечень требующих заполнения полей приведен ниже:


URL-адрес сайта
Название сайта
Краткое описание сайта
Контактное лицо
email-адрес

Можно добавить сайт в поисковые системы, которые приведены ниже:

Добавить сайт в Яндекс
Добавить сайт в Google
Добавить сайт в Рамблер
Добавить сайт в Mail Gogo
Добавить сайт в Апорт
Добавить сайт в MSN Bing
Добавить сайт в Yahoo
Добавить сайт в Мета (сначала зарегистрироваться)
Добавить сайт в I.ua (сначала зарегистрироваться)
Добавить сайт в Нигма
Добавить сайт в Turtle

Прежде чем Зарегистрировать сайт в поисковиках необходимо ознакомиться с рекомендациями по добавлению ресурсов от самих поисковиков и проследить, чтобы сайт не противоречил их правилам.

Кроме того есть смысл добавить сайт в сервисы вебмастеров Gogle и Яндекс и предложить им свою карту сайта. Это поможет более полной индексации сайта.

Нужно зарегистрироваться в сервисе вебмастеров Яндекса и сервисе Google Webmaster, потом добавить туда сайт, а потом уже добавить карту сайта при помощи ссылки такого вида: seokleo.ru/sitemap.xml.

Так же можно выполнить регистрацию в сервисе вебмастеров MSN и Сервисе вебмастеров Yahoo и так же добавить туда свой ресурс и карту xml.

Как добавить сайт в Яндекс?

Авторизируйтесь в аккаунте Яндекса и зайдите в сервис Яндекс.Вебмастер. Можете просто перейти по ссылке Добавить сайт. Заполните поле Адрес сайта и нажмите кнопку Добавить:

После этого необходимо подтвердить права на сайт. Сделать это можно тремя способами: с помощью html-файла, мета-тэга или через dns.

Способ подтверждения посредством dns. Для этого нужно добавить в DNS записи сайта запись типа TXT, содержащую указанное уникальное значение.

Способ довольно сложный, требует дополнительных знаний.

Оставшиеся два способа достаточно просты и справиться с ними может даже начинающий пользователь. Суть этих способов заключается в том, чтобы разместить на вашем сайте ключ. Логика такова – если вы сможете это сделать, значит у вас есть права на сайт.

Чтобы подтвердить права через html, нужно создать html-файл с уникальным именем и содержанием (или скачать предложенный кликнув по «ссылке для скачивания»), после чего добавить его в корневую папку сайта.

Подтверждение прав с помощью мета-тега на главной странице: необходимо добавить в код главной страницы сайта специальный мета-тег. Все просто. Скопируйте его и разместите в блоке .


Далее нужно удостовериться в том, что изменения сохранились на сайте, и отправить запрос на проверку, нажав Проверить.

Если вы все сделали правильно, то сервис сообщит, что права подтверждены.

После подтверждения прав сайт попадет в очередь на индексацию, и, если никаких ограничений и ошибок нет, ваш ресурс появится в поисковой выдаче (как правило, это происходит в течение 1-2 недель). Однако, чтобы сайт не просто появился в выдаче, а попал на видимые позиции (топ-10) с ним нужно провести более развернутые комплексные работы.

Инструмент «Переобход страниц»

В прошлой версии кабинета была возможность ускорить индексацию сайта с помощью инструмента «Сообщить о новом сайте». Теперь он называется «Переобход страниц» и выполняет немного другую функцию: позволяет добавлять страницы, которые необходимо проиндексировать в первую очередь и в ускоренном режиме. Инструмент доступен по ссылке после добавления ресурса в кабинет вебмастера и подтверждения прав.


Сюда вы можете добавлять страницы новых товарных карточек или новые статьи, или старые страницы с обновленным контентом, которые желательно переиндексировать.

Единственное ограничение – вы можете добавить не более 10 страниц в день.

Как добавить сайт в Google

В Google нам на помощь придет Search Console. Google Search Console – это бесплатный сервис, который даст возможность узнать, как ваш ресурс представлен в поиске Google. По сути это аналог кабинета Яндекс.Вебмастер.

Заходим в Google Search Console, вводим адрес сайта и нажимаем «Добавить сайт».

Подтверждение прав

Аналогично подтверждению прав в Яндекс.Вебмастере, можно добавить html файл с уникальным наименованием и содержанием в корень сайта:


Либо подтвердить с помощью специального meta-тега, разместив его в блоке для главной страницы:


Отличным от подтверждения прав в Гугл Вебмастере является способ подтверждения с помощью размещения счетчика Google Analytics. Достаточно просто зарегистрировать новый счетчик для вашего сайта на том же аккаунте, на котором добавляется сайт в Search Console, и разместить его в блоке .

Сообщение о новом URL

Сообщить о новом сайте также можно с помощью соответствующего инструмента. Достаточно просто ввести адрес, капчу и кликнуть по кнопке «Отправить запрос».

Для добавления сайта необходимо войти под своим аккаунтом, иначе инструмент будет не доступен.

Преимущества использования кабинетов вебмастеров Яндекс и Google
Помимо основного – сообщение поисковикам о сайте и ускорение индексации, кабинеты обладают массой полезных инструментов, таких как:

Анализ файла robots.txt.
Проверка и предоставление поисковикам карты сайта (sitemap.xml).
Анализ поисковых запросов (клики, показы, позиции и т.д.).
Анализ ссылочной массы.
Выявление ошибок и наложенных санкций на сайт.
Указание основного региона ресурса.

Добавление сайта в Поиск Mail.ru

Для того что бы добавить сайт в поисковую систему Go Mail.ru переходим по ссылке: http://go.mail.ru/addurl


Вводи название сайта, капчу, и нажимаем добавить.

После того как сайт добавлен в поиск меил ру будет написано так:

Добавление сайта в Meta.ua

Примерно лет 5-8 назад, это поисковая система была популярна и давала посетителей, сейчас все меньше и меньше, но как вариант добавиться туда так же можно.

Для того что бы добавить сайт в Meta переходим по ссылке http://web.meta.ua/?action=add

Перед нами отображается форма регистрации:

Что бы добавить сайт в отличии от других поисковых систем, там необходимо регистрироваться, что может занять пару минут.

Как быстро проиндексировать сайт в Яндексе и Гугле?

Создав сайт, можно просто сидеть и ждать, когда поисковые роботы придут на сайт и что-нибудь возьмут в индекс. Ждать этого пришествия можно от нескольких часов до бесконечности. Поэтому я советую не ждать, а действовать. Действовать – значит быть :)

Для быстрой индексации сайта в поисковиках есть несколько манипуляций:
1. Самый древний и банальный способ для быстрого индексирования – это добавить сайт в аддурилки ПС.

2. Прежде чем добавлять сайт в аддурилки, советую привести его в порядок и создать благоприятные условия для роботов. Создайте xml карту сайта и правильный файл robots.txt.

3. Добавьте сайт в webmaster.yandex.ru и google.com/webmasters/tools и загрузите xml карту сайта.

4. Самый эффективный способ быстро проиндексировать сайт в поисковых системах – это проставить ссылки с других сайтов на ваш. Чем качественнее будут сайты-доноры, тем больше шанс, что сайт быстро проиндексится.

Где можно взять ссылок?

Мест на самом деле очень много. Кто-то ищет бесплатные ссылки – с профилей, форумов, каталогов и rss-агрегаторов, кто-то меняется ссылками или просит друзей проставить ссылку, кто-то настраивает кросспостинг, прогоняет сайт по закладкам и т.д..

Говорят, что довольно хорошо помогают в индексации ссылки с твиттера. Многие размещают анонс поста со ссылкой именно для того, чтобы пригласить робота на свой сайт.

Кто-то не парится и покупает ссылки. Лично я для молодых непроиндексированных сайтов покупаю вечные ссылки в ГГЛ. Беру пару ссылок с дорогих, трастовых сайтов. Специально выбираю такие сайты, на которых контент обновляется каждый день и посещаемость хорошая. Роботы просто живут на таких сайтах. И если мы проставим свою ссылку они последуют по ней. Ну и несколько штук покупаю с простеньких, но не загаженных сайтов.

Также, чтобы быстро проиндексировать сайт, можно купить немного ссылок в Сапе или другой подобной бирже. После индексации – ссылки можно снять. Но я такое не практикую, хотя думаю, ничего плохого в этом нет – главное, чтобы ссылок было не много.

Совет: не стоит молодой непроиндексированный сайт регистрировать в куче каталогов или спамить по блогам и форумам. Получив на свой сайт много некачественных бэков, вы только навредите сайту.

Никто не дает гарантию, что после всех этих манипуляций сайт проиндексируется. Если сайт упорно и долго не индексируется, значит либо проблема в контенте, либо в доменном имени. Часто бывает, что сайт не индексится из-за того, что у домена серая или черная история жизни в ПС. Если вы зарегисрируете домен, на котором совсем недавно был дорвей, то ждать индексации вам придется очень долго.

Если вы, все же, обнаружили проблему с доменом или проблем нет, но сайт долго не индексируется, то пишите вопрос через Я.Вебмастер в поддержку. Там вам, может быть, что-нибудь подскажут. :)

Индексация сайта в Рамблере (Rambler.ru)

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексирование — это процесс считывания страниц сайта роботом той или иной поисковой системы с последующим добавлением данных страниц в базу поисковой системы

Краулеры с некоторой периодичностью обходят страницы сайта, считывая

Метаданные;
Контент;
Внутренние и внешние ссылки;
Ответ сервера;
И множество других данных.

Благодаря тому, что поисковая система узнаёт о сайте, она способна предлагать и продвигать его в результатах поиска. На основе контента, ссылок и ряда факторов определяется тематическая категория сайта, ключевые фразы, по которым он наиболее релевантен поисковым запросам.

Таким образом, поисковая система предлагает пользователям страницы вашего сайта, максимально соответствующие их запросам.

В то же время, не стоит возлагать больших надежд на продвижение сайта в выдаче. Ведущую роль здесь играют не настройки обхода страниц, а поведенческие факторы.

Индексация всего лишь способствует актуализации материалов сайта. Благодаря этому страницы и их содержимое, во-первых, попадают в поисковую выдачу с наименьшей задержкой. А, во-вторых, постоянно обновляются.

Yahoo.com и Bing

Как ни странно, в определённый момент Bing, принадлежащий Microsoft, поглотил поисковый движок Yahoo, объединив помимо прочего их сервисы для вебмастеров под вывеской https://www.bing.com/toolbox/webmaster/.

Как ускорить индексацию сайта в поисковиках

Создайте файл robots.txt

Файл robots.txt даёт поисковым роботам указание — какие страницы и разделы сайта следует читать, а какие — нет.

На сайте всегда присутствуют технические страницы — в частности, результаты поиска, этапы регистрации, системные файлы, теги и подобное. Также со временем может скопиться некоторый объём неактуальных страниц — контент на них может быть устаревшим или наоборот, он ждёт публикации не ранее назначенной даты.

Для запрета индексации определённых разделов они прописываются в robots.txt. Благодаря настройке файла содержимое страниц будет релевантным запросам и полезным, а вы меньше рискуете получить санкции со стороны Яндекса и Google.Проверьте само наличие robots.txt и его синтаксис. Например, Яндекс.Вебмастер делает это в разделе Инструменты — Анализ robots.txt.

Создайте и загрузите файлы Sitemap.xml

Файл sitemap.xml — это «гид» для поискового робота. Он указывает, какие страницы есть на сайте. С помощью таких файлов Яндекс и Google тратят меньше времени на обход сайта, однажды читая его структуру.

Во-первых, укажите путь к файлу в robots.txt. Это позволит роботу быстрее найти файл и ознакомиться со схемой сайта.
Добавьте файл в Яндекс.Вебмастер и Google Search Console.
Также ознакомьтесь с функцией создания динамического sitemap.xml.

Сделайте внутреннюю перелинковку

Внутренняя перелинковка — это проставление ссылок между страницами вашего сайта. Например, для интернет-магазина это может быть подробная навигация, при которой на каждой странице товара указаны ссылки на разделы и подразделы, составляющие путь к нему.

В хорошем блоге материал в статьях содержит ссылки на более ранние статьи, подробнее раскрывающие рассматриваемые вопросы.

В отличном блоге ранние статьи содержат ссылки на поздние. Возвращаясь к ним и добавляя ссылки из свежего материала, вы улучшаете параметры индексации и ранжирования страниц.

Поддерживайте актуальность и уникальность контента
Касается как перелинковки, так и непосредственно текстов на сайте.

Создавая вторичное наполнение или контент, не отвечающий запросам пользователей, владельцы сайтов ухудшают параметры ранжирования и индексации.

Более важно регулярное обновление материалов на страницах. Постоянно размещайте новый контент — тогда поисковики чаще будут совершать индексацию.

Полезно разместить заголовки Last-Modified и If-Modified-Since, чтобы старые страницы посещались краулерами после обновлений.

Расширяйте ссылочную базу

Поисковики положительно относятся к сайтам, на которые даны ссылки с других доменов — и чем авторитетнее таковые, тем выше авторитет самого сайта.

Наработайте базу ссылок с более крупных ресурсов, в том числе, из соцсетей. Тот же Яндекс учитывает ИКС (Индекс Качества Сайта) при сборе внешних ссылок.

Возможные проблемы с индексацией

Разного рода ошибки и угрозы могут отрицательно сказаться на индексации сайта, вплоть до бана.

Иногда поисковые системы устанавливают запрет на обход сайтов.

Чтобы избежать санкций, регулярно уточняйте наличие проблем.

Яндекс.Вебмастер имеет целый раздел Диагностика, в котором подробно расписаны несколько видов угроз по степени влияния:

Фатальные проблемы;
Критичные проблемы;
Возможные проблемы;
Рекомендации.
Для всех расписаны критерии оценки и подсказки по устранению.

Регулярно уточняйте наличие проблем

В подразделе Безопасность и нарушения отображаются проблемы, связанные с вирусами и вредоносным кодом.

Система покажет, откуда сайт получил заражение и что именно следует исправить. После исправления вы можете запустить переобход страниц.

Очень важно подходить по критериям для того, чтобы ваш сайт успешно прошёл индексацию в поисковой системе. Давайте разберёмся, что нужно для того, чтобы ваш сайт был успешно индексирован поисковой системой Google.

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» - «Страницы в поиске» (как вариант - «Индексирование сайта» - «История» - «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

Проверка индексации в сайта Google Search Console

Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

Индексация сайта в Майл (Mail.ru)

У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет - https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

Индексация сайта в Bing.com

Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

Сервисы проверки индексации сайтов

В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

1) Сервис http://www.seogadget.ru/sepages

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

2) Сервис http://xseo.in/indexed

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
можно проверить индексацию еще и в Bing’е.


Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» - робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» - «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

User-agent: *

Disallow: /


Теперь давайте разберем, что этот код означает.

User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

User-agent: yandex

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ – закрытие сайта через .htaccess

Способ тоже довольно простой – добавить в файл .htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.


При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.


При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую.

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Еще раз:

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.


В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:


Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».


Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».


Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» - «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется


ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Готово!

Индексация сайта на Wordpress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе - ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц.

Творите сайт от души, и он обязательно будет полезен и интересен большинству пользователей интернета.

Рейтинг:(голосов:1)