Найдено 344 результата
- 2023.02.16, 18:47
- Форум: Общие вопросы (Yii 2.x)
- Тема: rabbitmq, yii2 и symfony console
- Ответы: 0
- Просмотры: 1907
rabbitmq, yii2 и symfony console
Добрый день. Необходимо реализовать функционал для импорта товаров из yml файлов. Требуется вынести весь функционал для обработки файлов и запись данных в базу отдельно, без использования возможностей yii2. Сейчас получилось подключить doctrine, dbal, symfony console. Обработка очередей через rabbit...
- 2023.02.04, 16:04
- Форум: Общие вопросы (Yii 2.x)
- Тема: Настройка xdebug для queue job.
- Ответы: 3
- Просмотры: 1759
Re: Настройка xdebug для queue job.
Скорее всего потому как создаётся дочерний процесс. Попробуйте тормознуть все демоны, которые слушают очередь и выполнить проблемную Job-у или через queue/exec или через queue/run. Добрый день. Есть supervisor и очередь обрабатывается в rabbitmq. Остановил supervisor, запустил через queue/listen, н...
- 2023.02.03, 21:57
- Форум: Общие вопросы (Yii 2.x)
- Тема: Настройка xdebug для queue job.
- Ответы: 3
- Просмотры: 1759
Настройка xdebug для queue job.
Добрый вечер. Возникла небольшая проблема с xdebug и не могу понять в чём дело. Есть старый проект на yii2, который надо довести до ума. Работа с очередями, в очередь ставится файл на парсинг товаров и запись в базу. Не могу понять, почему не ловятся точки останова в самом файле очереди. Проект крут...
- 2022.02.02, 20:11
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
Всегда возможен. При импорте тогда нужно будет только скачать фото к себе без resize. Получается, что если использовать этот подход, то изначально изображение загружается на сервер и хранится в оригинале. И только если потребуется просмотр этого изображения через nginx происходит resize изображения...
- 2022.02.01, 19:49
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
- 2022.02.01, 19:47
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
2. Для того, чтобы узнать какие данные обработала ваша очередь, а какие нет, просто записывайте в два файла свои задачи, в первый, то что нужно обработать, а во второй, что обработалось уже. И можно потом восстановить и начать обработку с тех данных, на которых остановились. Но тут большой гемор с ...
- 2022.01.31, 20:38
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
Вернуть нельзя. Только самому в своей задаче рядом с записью в лог записать в БД, какой товар не записался. Например, в таблицу import_errors добавлять строку (import_id, product_id, error). Так сейчас и есть. Просто подумал, может получится как-то из самого rabbitmq получить данные. Верно. Если од...
- 2022.01.31, 01:26
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
В yii2-queue для настройки максимального числа повторов есть параметр attempts . Да, я знаю, что можно ограничить количество повторов. Получается, что желательно ограничивать количество попыток выполнить задание? Только я не до конца понимаю такую вещь. Есть файл импорта с товарами, разбивается на ...
- 2022.01.30, 01:02
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
RabbitMQ работает с подтверждением по Ack. Если какая-то задача отвалилась или отвалился воркер, то он отправит её на выполнение ещё раз. Узнать об ошибках можно из логов. Но это же не может продолжаться до бесконечности? Надо же будет как-то и на сайте отобразить, что произошла ошибка и импорт не ...
- 2022.01.29, 17:22
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
К товарам ещё прилагаются изображения. Сейчас я отключил (удалил из кода) запуск очереди для загрузки изображений. Как лучше поступить с загрузкой изображений? Вариант записи в базу ссылки на изображение на стороннем ресурсе не устраивает. Нужен вариант с загрузкой изображения в своё хранилище. В с...
- 2022.01.29, 17:08
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
Ещё такой момент. Сейчас все товары в одном файле записаны как json строка. Запускается обработка импорта, json переводится в массив. Полученный массив разбить на равные части и по очереди скормить очередям. Как только последняя часть будет отправлена в очередь файл удаляется. Каждая такая часть уж...
- 2022.01.29, 16:33
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
... чтобы он привязал все очереди автоматом к одному exchange. И потом все сообщения отправлять только в первый Yii::$app->queue1->push(...). Я правильно понял, что в конфиге несколько очередей, при отправке в очередь задачи указать только первую очередь, а дальше автоматически будет распределено п...
- 2022.01.29, 02:02
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
- 2022.01.28, 20:27
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
- 2022.01.28, 19:51
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
- 2022.01.28, 19:48
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
- 2022.01.28, 19:12
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
- 2022.01.27, 22:50
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
В конфигурации очереди не указан параметр serializer, но в самом коде данные обрабатываются serialize() и unserialize(). Может это влиять на скорость обработки данных? Или лучше использовать serializer в конфигурации, а в коде отказаться от serialize() и unserialize()?
- 2022.01.27, 22:46
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
В конфигурации создать 10 очередей? Но как потом рандомно разложить задачи по этим очередям? Да, в случае yii2-queue объявить несколько отдельных: 'bootstrap' => [ 'queue1', ... 'queue10', ], 'components' => [ 'queue1' = [...], ... 'queue10' = [...], ], И дёргать рандомно: Yii::$app->get('queue' . ...
- 2022.01.27, 19:29
- Форум: Общие вопросы (Yii 2.x)
- Тема: Импорт товаров через rabbitmq
- Ответы: 40
- Просмотры: 5222
Re: Импорт товаров через rabbitmq
Ну так Дмитрий это и имел ввиду, у меня тоже такая мысль была. Только не по одному товару в очередь ставить, а разбивать массив товаров на пачки. Я не могу понять только, как рандомно разложить их по очередям, как советует Дмитрий. В конфигурации можно создать несколько очередей, также в конфиге su...