1
Продвижение / Особенности индексации сайтов в Google
« : Марта 28, 2012, 12:16:28 pm »
Решил создать отдельную тему, т.к. вопрос очень важный и объемный.
Последние исследования на основании своих сайтов, которые подтверждаются многими вебмастерами, показывают, что Гугл напрочь игнорирует robots.txt. Для него этот файл носит не более чем рекомендательный характер, но не как не запрещающий роботу какие либо действия на сайте. Действительно, кто мы такие, что бы управлять самим Google?
Это подтверждает и сама ПС. Вот цитата из справки для вебмастеров от Google:
Что мы в итоге имеем?
Google питается собрать о сайтах всю доступную информацию, а не только то, что ему отдают вебмастера.
Это мотивируется кагбэ, тем что сайты могут распространять вирусы и прочие прелести, направленые на принесения вреда или обман пользователя, а для ПС такие сайты белые и пушистые. Т.о. при индексации Гугол не смотрит ни на robots.txt ни на rel="nofollow". Это канешно хорошо, но почему мои технические разделы должны попадать в индекс???
Что делать?
По сути остается единственный способ закрытия не подлежащих индексации разделов, блоков, ссылок и контента является Jawascript. Такой подход нельзя расценивать как клоакинг т.к. и пользователям и ПС предоставляется одинаковое содержимое, просто ПС не может его проиндексировать.
Есть еще rel="canonical", но он опять таки носит не более чем рекомендательный характер, хотя использовать его все же стоит.
По Jawascript. я уже поднимал вопрос. Я пока еще мало разбираюсь в технических моментах реализации этого дела.
Но решать вопрос нужно! Причем всем!
Последние исследования на основании своих сайтов, которые подтверждаются многими вебмастерами, показывают, что Гугл напрочь игнорирует robots.txt. Для него этот файл носит не более чем рекомендательный характер, но не как не запрещающий роботу какие либо действия на сайте. Действительно, кто мы такие, что бы управлять самим Google?
Это подтверждает и сама ПС. Вот цитата из справки для вебмастеров от Google:
Цитировать
Google больше не рекомендует блокировать доступ поисковых роботов к повторяющемуся контенту с помощью файла robots.txt или иных способов. Если поисковые системы не имеют возможности сканировать страницы с повторяющимся контентом, то они не смогут автоматически определять, что разные URL имеют одинаковый контент, и будут обращаться с ними как с уникальными страницами. Наилучший выход из этого положения – разрешить поисковым системам сканировать все URL, предварительно отметив их как повторяющиеся с помощью элемента link rel="canonical", функции обработки параметров URL или переадресации 301. Если на вашем сайте очень много страниц с повторяющимся контентом, рекомендуется настроить скорость сканирования в Инструментах для веб-мастеров.Зявление о том, что дублированый контент не является основанием для принятия мер, думаю, можно поставить под сомнение!
Наличие на сайте повторяющегося контента не является основанием для принятия каких-либо мер по отношению к нему. Такие меры применяются только в том случае, если это сделано с целью ввести пользователей в заблуждение или манипулировать результатами поиска. Если у вас возникают проблемы из-за повторяющегося контента, но вы не последовали приведенным выше советам, то мы выберем версию контента для показа в результатах поиска на свое усмотрение.
Что мы в итоге имеем?
Google питается собрать о сайтах всю доступную информацию, а не только то, что ему отдают вебмастера.
Это мотивируется кагбэ, тем что сайты могут распространять вирусы и прочие прелести, направленые на принесения вреда или обман пользователя, а для ПС такие сайты белые и пушистые. Т.о. при индексации Гугол не смотрит ни на robots.txt ни на rel="nofollow". Это канешно хорошо, но почему мои технические разделы должны попадать в индекс???
Что делать?
По сути остается единственный способ закрытия не подлежащих индексации разделов, блоков, ссылок и контента является Jawascript. Такой подход нельзя расценивать как клоакинг т.к. и пользователям и ПС предоставляется одинаковое содержимое, просто ПС не может его проиндексировать.
Есть еще rel="canonical", но он опять таки носит не более чем рекомендательный характер, хотя использовать его все же стоит.
По Jawascript. я уже поднимал вопрос. Я пока еще мало разбираюсь в технических моментах реализации этого дела.
Но решать вопрос нужно! Причем всем!