Закрыть ли от поисковиков?

Говорим о серверах, развёртывании, нагрузках, выборе и использовании разных технологий и продуктов
Ответить
Аватара пользователя
Maxim Glushko
Сообщения: 81
Зарегистрирован: 2017.04.24, 19:16
Откуда: Україна, Одеса

Закрыть ли от поисковиков?

Сообщение Maxim Glushko » 2019.05.18, 12:47

На сайте есть теги и они отражаются в адресной строке так:

Код: Выделить всё

/stories/tags:einstein
/stories/tags:freud
/stories/tags:einstein;freud
Т.е. первая адресная строка даст список историй об Эйнштейне, вторая - о Фрейде, третья - о совмещении.
Тегов много и комбинаций совмещений тоже много.
Я только начал цеплять теги к историям, что-то около 30, и заметил, что яндекс-бот два-три раза в секунду индексирует эти комбинации. И пока не перебрал их ))
Вопрос: пусть будет, как есть, или же стоит напрячься и как-то закрыть от поисковиков эти ссылки с совмещениями тегов?

Аватара пользователя
samdark
Администратор
Сообщения: 9030
Зарегистрирован: 2009.04.02, 13:46
Откуда: Воронеж
Контактная информация:

Re: Закрыть ли от поисковиков?

Сообщение samdark » 2019.05.19, 11:12

Я у себя закрывал. Дало то, что находятся не страницы со списком по тегу, а сами статьи.

Аватара пользователя
Maxim Glushko
Сообщения: 81
Зарегистрирован: 2017.04.24, 19:16
Откуда: Україна, Одеса

Re: Закрыть ли от поисковиков?

Сообщение Maxim Glushko » 2019.05.19, 15:39

Файл robots.txt яндексу не указ - продолжает фигачить 2-3 раза в секунду по всем возможным комбинациям тегов.
Пришлось закрыть индивидуально яндексу через .htaccess теги.
Нехай просто по пагинации без тегов индексирует.
И ссылки с тегами прикрыл, чтобы через js в реальные тегированные ссылки превращались.

chesar
Сообщения: 507
Зарегистрирован: 2013.04.10, 17:49

Re: Закрыть ли от поисковиков?

Сообщение chesar » 2019.05.20, 14:09

Я бы оставил в индексе разводные страницы с 1 тегом. А там где наборы из 2 и более добавлять noindex nofollow, ну и http заголовок можно для кучи:
https://yandex.ru/support/webmaster/con ... obots.html

Ответить