[РЕШЕНО] Фантомные дубли URL. Их вроде нет, но они есть.

[keltstr]

Как вариант - ДА, нО это хорошо, до тех пор пока вы в проект не вкладываете свои личные деньги или не отвечаете за него своей головой ))
Имею ввиду что это лишь попытка указания некоторым спайдерам " не нужно этого делать", а вот "делать" или "не делать" это уже их собственное решение.

Вы ошибаетесь в силу отсутствия знаний. Это самое надёжное решение. Закрытые в файле robots.txt разделы абсолютно точно не будут индексироваться поисковыми системами.

Сколько поисковых систем Вы знаете? сколько из них следуют всем директивам в robots.txt?
Правильно!(в пост SamDark'a не подглядывать ))

PS: знания - штука обманчивая )

[keltstr]

Я бы вообще сделал:

Код: Выделить всё

ksort($_GET);
$url = Yii::app()->controller->createUrl('', $_GET);
if (Yii::app()->request->getUrl() != $url) {
    Yii::app()->controller->redirect($url, 301);
}

и пусть теперь любые вводят

Идея понятна, но как рабочий вариант сделать ?

[keltstr]

Мнение по поводу решений базирующихся на robots.txt
Существует много мнений
http://yandex.by/yandsearch?rdrnd=89181 ... 84717126.1
https://www.google.by/?gws_rd=cr&ei=6Ru ... bots%20txt

Суть одна - если
1) Вовремя не закрыть дыры
2) ИЛИ случайно допустить ошибку в robots.txt
3) ИЛИ вообще случайно удалить robots.txt
4) ИЛИ поисковик изменит свои взгляды на мир
то в итоге получишь финпотери и проблемы, которые нужно решать(потеряное время, упущеная прибыль, умерший стартап).
А проблемы никому не нужны(имхо).

[deblogger]

Про финпонтери интересно. Как они связаны с роботами?

[ref]

Ну, не совсем так. 100% гарантии это не даёт. Какой-нибудь странный бот может туда и пойти...

Я вам как человек, который в этой сфере скоро как 10 лет говорю — закрывайте в robots и спите спокойно (:

Сколько поисковых систем Вы знаете? сколько из них следуют всем директивам в robots.txt?
Правильно!(в пост SamDark'a не подглядывать ))

PS: знания - штука обманчивая )

Если вы собираетесь заниматься продвижением сайта, то Google и Яндекс вам достаточно. Остальные работают либо на базе этих двух поисковых систем, либо их доля незначительна и не требуют внимания. И пожалуйста не спорьте в теме, которой не разбираетесь, лучше послушайте добрый совет, закройте в robots.txt дубли, и для надёжности и Вашего спокойствия уберите дубли с помощью кода.

[ElisDN]

Идея понятна, но как рабочий вариант сделать ?

Код: Выделить всё

Yii::app()->controller->redirect($url, true, 301); 

[keltstr]

... И пожалуйста не спорьте в теме, которой не разбираетесь ...

С кем я спорил и о каком споре речь?
Или это просто предостережительный дружеский совет на будущее ?

[keltstr]

Идея понятна, но как рабочий вариант сделать ?

Код: Выделить всё

Yii::app()->controller->redirect($url, true, 301);

Если есть возможность, покажите пожалуйста весь код.

[keltstr]

Про финпонтери интересно. Как они связаны с роботами?

Наверное не с роботами(спайдерами), а с алгоритмами присваивающими рейтинг в выдаче поисковиков.
И последующее за этим неприятное изменение трафика сайта.

[ref]

Наверное не с роботами(спайдерами), а с алгоритмами присваивающими рейтинг в выдаче поисковиков.
И последующее за этим неприятное изменение трафика сайта.

Если вы будете следовать всем найденным сплетням и глупым советам по SEO, то фин потери Вам обеспечены гарантировано. Как минимум в виде впустую потраченного времени, бесполезно выполненной работы, вложенных в бесполезную вещь денег и т.д.

[keltstr]

Наверное не с роботами(спайдерами), а с алгоритмами присваивающими рейтинг в выдаче поисковиков.
И последующее за этим неприятное изменение трафика сайта.

Если вы будете следовать всем найденным сплетням и глупым советам по SEO, то фин потери Вам обеспечены гарантировано. Как минимум в виде впустую потраченного времени, бесполезно выполненной работы, вложенных в бесполезную вещь денег и т.д.

Пожалуйста пруфлинк дайте, чтобы мы все не следовали глупым советам и сплетням в интернете и не тратили впустую свое время.
Или хотя бы опишите технику как Вы отличаете глупые советы и сплетни от работающих методов.

[keltstr]

{ [РЕШЕНО] Код здесь: https://gist.github.com/keltstr/7515215 }

[Arni]

Я бы вообще сделал:

Код: Выделить всё

ksort($_GET);
$url = Yii::app()->controller->createUrl('', $_GET);
if (Yii::app()->request->getUrl() != $url) {
    Yii::app()->controller->redirect($url, true, 301);
}
 

и пусть теперь любые вводят.

а для yii2 как?

Такой вариант годится?

Код: Выделить всё

    public function beforeaction(){
        $url = Yii::$app->request->url; //URL из адрес.строки (/frontend/web/index.php?str.html)
        if ((strpos($url, 'index.php') !== false)) {
            throw new \yii\web\HttpException(404 ,'Страница не найдена.');
        }
        return true;
    }

Или лучше переадресацией сделать?

Код: Выделить всё

    public function beforeaction(){
        $url = Yii::$app->request->url; //URL из адрес.строки 

        if ((strpos($url, 'index.php') !== false)) {
            $scriptUrl = Yii::$app->request->scriptUrl; // /frontend/web/index.php
            $host = Yii::$app->request->hostInfo; 
            $new_url = str_replace($scriptUrl, "", $url);  

            $this->redirect($host.$new_url, 301);
        }
        return true;
    }

[Elfer]

1) Я закрыл в robots.txt индексирование для index:
Disallow: /index

2) А в корне сайта в файле index.php дописал в самом верху:

Код: Выделить всё

if (strpos($_SERVER['REQUEST_URI'], '/index') === 0) {
  header("HTTP/1.1 404 Not Found"); 
  exit;
}

По мне так проще, в двух местах прописал и забыл навсегда про проблему.