Автор Тема: Закрыть данные от ботов  (Прочитано 8324 раз)

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Закрыть данные от ботов
« : Ноября 26, 2012, 07:32:35 pm »
Есть ли какие-то переменные в шаблоне для этих целей?

Например, у меня есть ряд нестандартных сортировок в виде ссылок, и боты вместо того чтобы индексировать
нормальные ссылки индексируют эти ссылки фильтра.

nictboom

  • Гость
Re: Закрыть данные от ботов
« Ответ #1 : Ноября 26, 2012, 10:01:05 pm »
Цитировать
Есть ли какие-то переменные в шаблоне для этих целей?
в robots.txt закрываются все ненужные страницы.
например я для себя закрывал:
Disallow: /*sort*
Disallow: /*&offset*
Disallow: /*show_all=yes
то есть, закрыл страницы сортировки товара, закрыл все постраничные выводы одной категории и все товары на одной странице этой категории.

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #2 : Ноября 28, 2012, 06:24:44 am »
Идею понял.
А такую ссыль закрыть:
http://xxx.ru/index.php?categoryID=71&fst=all

Нужно запретить

Disallow: /*&fst* 

Верно?


Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #3 : Ноября 28, 2012, 07:33:16 pm »
Использовал http://saitomer.ru для анализа скрытых данных.
Все сортировки видны ботам.
Состав роботс такой:

User-agent: *
Disallow: /*sort*
Disallow: /*sort_b*
Disallow: /*&offset*
Disallow: /*show_all=yes*
Disallow: /*&fst*

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #4 : Ноября 28, 2012, 07:57:11 pm »
Взял гарантированно рабочий роботс с другого своего ресурса, прописал полный запрет

User-agent: *
Disallow: /

И без толку, не видят анализаторы robots

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #5 : Ноября 28, 2012, 08:01:48 pm »
Проверил через вебмастер яндекса, там надо вводить просто ссылки и яндекс дает ответ, учитываются ссылки или нет.
Там всё корректно. В чем прикол?

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #6 : Ноября 28, 2012, 08:52:56 pm »
Ещё одна "замечательная" вещь обнаружилась.
Товары внутри категории выводятся скриптом.
Ни один анализатор их не видит, или видит 1 или 2 товара из 10, при этом он их видит только в коде страницы, в списке ссылок
их попросту нету ((((((((
А физически и в исходном коде страницы, естественно, всё видно.
Что это? Глюк всех анализаторов?

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #7 : Ноября 28, 2012, 09:06:07 pm »
И ещё вопрос. Мы закрыли в роботс
Disallow: /*&offset*
Как паук найдет товары на второй, третьей и тд страницах?

nictboom

  • Гость
Re: Закрыть данные от ботов
« Ответ #8 : Ноября 28, 2012, 11:32:43 pm »
Цитировать
Ни один анализатор их не видит, или видит 1 или 2 товара из 10...
в топку анализаторы, в webmaster.yandex все видно.
Цитировать
Как паук найдет товары на второй, третьей и тд страницах?
site.ru/sitemap.xml
« Последнее редактирование: Ноября 28, 2012, 11:36:41 pm от nictboom »

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #9 : Ноября 29, 2012, 08:31:36 am »
Может, глупый вопрос, но не очень понятен момент, sitemap.xml надо скармливать поисковикам самостоятельно, ссылки на него
нигде нет в магазине и сами они его искать не будут.
Получается без скармливания, страницы, начиная со 2-ой не будут индексироваться?
Ещё вопрос, он автоматически дополняется, например, при добавлении товаров руками/через импорт xls?

И ещё вопрос. На сайте есть совершенно бесполезная sitemap:
site.ru/index.php?sitemap в которой собраны ссылки на разделы (по сути аналог бокового меню.
Нафиг она нужна?

nictboom

  • Гость
Re: Закрыть данные от ботов
« Ответ #10 : Ноября 29, 2012, 11:38:24 pm »
есть директива для индексирования в robots.txt, достаточно добавить в конец:
Sitemap: http://site.ru/core/sitemap.php или:
Sitemap: http://site.ru/sitemap.xmlв котором обновления происходят сразу после изменения инфы на сайте, и предназначен исключительно для поисковых роботов.
Цитировать
На сайте есть совершенно бесполезная sitemap: site.ru/index.php?sitemap
это "территория" пользователя. для удобства))
« Последнее редактирование: Ноября 30, 2012, 01:05:12 am от nictboom »

Оффлайн rom1

  • Спец
  • ***
  • Сообщений: 136
    • Просмотр профиля
Re: Закрыть данные от ботов
« Ответ #11 : Ноября 30, 2012, 12:14:43 am »
Ага, спасибо, разобрался.

Кстати  http://site.ru/core/sitemap.php  очень прост в освоении ))
Раньше я о таком даже не знал.