Сайт закрыт для индексации роботами!

Общие вопросы по использованию фреймворка. Если не знаете как что-то сделать и это про Yii, вам сюда.
Ответить
Oleg_86
Сообщения: 4
Зарегистрирован: 2017.11.02, 17:56

Сайт закрыт для индексации роботами!

Сообщение Oleg_86 »

Доброго дня!
Подскажите пожалуйста знатоки, как настроить доступ к роботам для индексации (аля robots.txt) для сайта написанного в frameworkе. Суть проблемы в том, что сайт закрыт для роботов "User-agent: * Disallow: /". С разработчиками сайта в свое время произошел конфликт и обращаться повторно к ним не охота. Пробовал вникнуть в эту тему и создал файл robots.txt, закинул его в корневую папку, но ничего не поменялось. Общался с консультантом хостинга и спросил не блокируют ли они файл, он сказал что в роботе указан запрет на индексацию и обращайтесь к разрабам, ну и промелькнула такая фраза:
"Более того я вобще не понимаю зачем вы пытаетесь роботс от вордпресса засунуть в фреймворк".
Я в этой теме полный ноль, и не могу понять где и как разрешить индексацию для роботов. Файла robots.txt в корневом каталоге и в "public_html" нету, возможно этот запрет еще где то указывается или файл по другому называется или в другом каталоге. Вообщем буду очень благодарен за совет от знающих и понимающих людей.
chesar
Сообщения: 514
Зарегистрирован: 2013.04.10, 17:49

Re: Сайт закрыт для индексации роботами!

Сообщение chesar »

Вы говорите, что закрыт для индексации, но файла не находите. Как определили, что сайт закрыт для роботов?
Oleg_86
Сообщения: 4
Зарегистрирован: 2017.11.02, 17:56

Re: Сайт закрыт для индексации роботами!

Сообщение Oleg_86 »

При просмотре сайта с добавлением к адресу сайта "/robots.txt" выдает:
User-agent: *
Disallow: /
Oleg_86
Сообщения: 4
Зарегистрирован: 2017.11.02, 17:56

Re: Сайт закрыт для индексации роботами!

Сообщение Oleg_86 »

Удалось найти этот файл, он находился в "public_html/public". Буду очень благодарен если подскажите по поводу файла, если я в robots.txt открою полностью весь сайт для индексации могут ли быть какие то негативные последствия этого... или возможно порекомендуете хорошего программиста который может за умеренную стоимость написать качественный robots.txt для сайта и сделать sitemap.xml?
feodor
Сообщения: 95
Зарегистрирован: 2013.01.28, 00:02

Re: Сайт закрыт для индексации роботами!

Сообщение feodor »

Disallow: /
Эта строчка полностью закрывает сайт от индексации.

Самый простой вариант robots.txt, где все страницы открыты выглядит так:
User-agent: *
Host: www.site.ru

По поводу последствий не подскажу. Обычно сайт открывают, когда он готов во всех смыслах.
От индексации закрывают результаты поиска, админку... Например так:
User-agent: *
Disallow: /reg
Disallow: /login
Disallow: /admin
Disallow: /search
Host: www.site.ru

Строчка Disallow: /search закрывает все что начинается на /search, например /search/123 или /search?x=123&y=123

В сети полно статей на тему
https://convertmonster.ru/blog/seo-blog ... direktivy/
Oleg_86
Сообщения: 4
Зарегистрирован: 2017.11.02, 17:56

Re: Сайт закрыт для индексации роботами!

Сообщение Oleg_86 »

Спасибо за инфу. Обратился к разрабам они прописали такой robots.txt:

User-agent: *
Host: #####.com.ua
Sitemap: http://######.com.ua/sitemap.xml

(#### - закрыл имя сайта, что бы не сочли за скрытую рекламу.)
По сути я так понимаю, что они открыли все директории для индексации, тут вопрос это нормально или они выполнили свою работу не качественно? А то я как слепой котенок в этой теме, с одной стороны по определенным причинам нету доверия к ним, а с другой наезжать по вопросу в котором я особо не разбираюсь тоже не охота. Просто с той инфы что я нашел какие то директории они все таки должны были закрыть?
Ответить