Найдено 742 результата

Artikk
2018.09.22, 08:26
Форум: Общие вопросы (Yii 2.x)
Тема: Оптимизация парсера (sql запросы)
Ответы: 9
Просмотры: 1880

Re: Оптимизация парсера (sql запросы)

andku83 писал(а): 2018.09.21, 20:07 Предположим что у сайта в минуту 100+ загрузок страницы и вы собираетесь 100+ раз обновлять данные парсером?
А cron по расписанию, не зависимо от посетителей, будет выполнять парсинг...
я правилньо понял, что мне не нужно переписывать весь парсер, а просто перенести код в другой файл?
Artikk
2018.09.21, 20:01
Форум: Общие вопросы (Yii 2.x)
Тема: Оптимизация парсера (sql запросы)
Ответы: 9
Просмотры: 1880

Re: Оптимизация парсера (sql запросы)

т.е. это делается в фоновом режиме? я это первый раз делаю
Artikk
2018.09.21, 19:16
Форум: Общие вопросы (Yii 2.x)
Тема: Оптимизация парсера (sql запросы)
Ответы: 9
Просмотры: 1880

Re: Оптимизация парсера (sql запросы)

//проверка забанен пользователь или нет $ban = Banns::find()->where(['title' => $users])->one(); Как вариант можно было бы получить всех забаненых одним запросом, а потом проверять их в готовом наборе. Покажите ваш лог запросов нужно видеть, чтобы понимать от чего можно избавиться... И в связи с че...
Artikk
2018.09.21, 16:24
Форум: Общие вопросы (Yii 2.x)
Тема: Оптимизация парсера (sql запросы)
Ответы: 9
Просмотры: 1880

Re: Оптимизация парсера (sql запросы)

//автоудаление спустя определенное количество времени. $pars = Auto::find()->where(['parser' => 1])->all(); foreach ($pars as $vi){ if($vi->parser_end <= date("Y-m-d H:i:s")) { $cart_id = Auto::find()->where(['id' => $vi->id])->andWhere(['parser' => 1])->one(); $cart_id->delete(); } } мож...
Artikk
2018.09.21, 13:40
Форум: Общие вопросы (Yii 2.x)
Тема: Оптимизация парсера (sql запросы)
Ответы: 9
Просмотры: 1880

Оптимизация парсера (sql запросы)

Здравствуйте. Возник вопрос. Сделал парсер, который постоянно добавляет данные, если есть новые. Но сейчас слишком много идет запросов к бд. В коде прокомментировал какой запрос, зачем нужен. Не могу понять, как можно оптимизировать его? public static function Parser(){ $client = new \yii\httpclient...
Artikk
2018.09.21, 11:58
Форум: Общие вопросы (Yii 2.x)
Тема: Автономная работа парсера
Ответы: 3
Просмотры: 973

Re: Автономная работа парсера

Cron - он на хосте должен быть установлен уже, или как?
Artikk
2018.09.21, 11:29
Форум: Общие вопросы (Yii 2.x)
Тема: Автономная работа парсера
Ответы: 3
Просмотры: 973

Автономная работа парсера

Здравствуйте. У меня парсер новостей. Вопрос, ка сделать, чтобы он всегда добавлял новости в бд, даже когда на сайте никогда нет. Т.е. сейчас, я вызываю метод парсера в контроллере общем, следовательно, когда на сайте кто-то есть, то парсятся новые записи, но когда нет, ничего не будет же добавлятьс...
Artikk
2018.09.19, 12:02
Форум: Общие вопросы (Yii 2.x)
Тема: Парсинг новостей с другого сайта
Ответы: 14
Просмотры: 3166

Re: Парсинг новостей с другого сайта

urichalex писал(а): 2018.09.19, 11:09
Artikk писал(а): 2018.09.19, 10:51 а пример кода есть где парсер новостей например?
А есть какая-то разница в парсинге новостей и, скажем, бьюти-блога или магазина?
да я никогда не делал, думал может примеры скинете хотя бы..
Artikk
2018.09.19, 10:54
Форум: Общие вопросы (Yii 2.x)
Тема: Advanced авторизация.
Ответы: 2
Просмотры: 820

Advanced авторизация.

Здравствуйте. Сделал общую авторизацию. Вопрос, сейчас, когда я выхожу из учетки опустим в back-end, то меня перенаправляет в админке на http://site.loc/admin/site/login, как сделать, чтобы перенаправляло на http://site.loc/site/login ?
Artikk
2018.09.19, 10:51
Форум: Общие вопросы (Yii 2.x)
Тема: Парсинг новостей с другого сайта
Ответы: 14
Просмотры: 3166

Re: Парсинг новостей с другого сайта

а пример кода есть где парсер новостей например?
Artikk
2018.09.19, 08:23
Форум: Общие вопросы (Yii 2.x)
Тема: Парсинг новостей с другого сайта
Ответы: 14
Просмотры: 3166

Re: Парсинг новостей с другого сайта

urichalex писал(а): 2018.09.18, 22:16
Artikk писал(а): 2018.09.18, 21:48 не редактируются, добавляются часто
В таком случае проверять скажем дату/время последней новости на том сайте. Если она младше последней записи в базе, то дописать новые новости
а если и даты нет?
Artikk
2018.09.18, 21:48
Форум: Общие вопросы (Yii 2.x)
Тема: Парсинг новостей с другого сайта
Ответы: 14
Просмотры: 3166

Re: Парсинг новостей с другого сайта

ну, и там сравнивать получается? А зачем сравнивать? Новости так часто редактируются на том сайте. что их нужно постоянно на это проверять? не редактируются, добавляются часто. а есть пример хороший парсера? http://www.webapplex.ru/parsing-vneshnego-sajta-na-yii-2.x я этот только нашел более менее ...
Artikk
2018.09.18, 21:16
Форум: Общие вопросы (Yii 2.x)
Тема: Парсинг новостей с другого сайта
Ответы: 14
Просмотры: 3166

Re: Парсинг новостей с другого сайта

ну, и там сравнивать получается?
Artikk
2018.09.18, 20:29
Форум: Общие вопросы (Yii 2.x)
Тема: Парсинг новостей с другого сайта
Ответы: 14
Просмотры: 3166

Парсинг новостей с другого сайта

Здравствуйте. В интернете примеры есть, но у меня возник вопрос, у меня парсится будет ежедневно. Как сделать, чтобы не парсились повторно новости?
Artikk
2018.09.10, 14:51
Форум: Общие вопросы (Yii 2.x)
Тема: Поиск по необязательным полям
Ответы: 18
Просмотры: 3453

Re: Поиск по необязательным полям

Сделал, работает: $v = Feedauto::find() ->andFilterWhere(['two' => $model->two]) ->andFilterWhere(['three' => $model->three]) ->andFilterWhere(['four' => $model->four]) ->andFilterWhere(['or', 'region = ""', ['region' => $model->region_id]]) ->andFilterWhere(['or', 'one = ""', ['...
Artikk
2018.09.10, 14:27
Форум: Общие вопросы (Yii 2.x)
Тема: Поиск по необязательным полям
Ответы: 18
Просмотры: 3453

Re: Поиск по необязательным полям

Вот весь код, чтобы вы понимали: $model = new Auto(); $model->date = date('d-m-Y'); $model->user_id = Yii::$app->user->id; if ($model->load(Yii::$app->request->post()) && $model->save()) { //подписка $v = Feedauto::find() ->andFilterWhere(['two' => $model->two]) ->andFilterWhere(['three' => ...
Artikk
2018.09.10, 14:25
Форум: Общие вопросы (Yii 2.x)
Тема: Поиск по необязательным полям
Ответы: 18
Просмотры: 3453

Re: Поиск по необязательным полям

$model - это другая модель. и там ВСЕ заполнено. мне нужно сравнить с моей моделью (второй). и если там не заполнено поле, не сравнивать
Artikk
2018.09.10, 14:21
Форум: Общие вопросы (Yii 2.x)
Тема: Поиск по необязательным полям
Ответы: 18
Просмотры: 3453

Re: Поиск по необязательным полям

поле one не заполнено.... как мне сделать, что если он не пустое, то искать и по нему, еcли пустое, не искать. тоже самое поля
five, six, region