Найдено 344 результата

slo_nik
2023.02.16, 18:47
Форум: Общие вопросы (Yii 2.x)
Тема: rabbitmq, yii2 и symfony console
Ответы: 0
Просмотры: 1665

rabbitmq, yii2 и symfony console

Добрый день. Необходимо реализовать функционал для импорта товаров из yml файлов. Требуется вынести весь функционал для обработки файлов и запись данных в базу отдельно, без использования возможностей yii2. Сейчас получилось подключить doctrine, dbal, symfony console. Обработка очередей через rabbit...
slo_nik
2023.02.04, 16:04
Форум: Общие вопросы (Yii 2.x)
Тема: Настройка xdebug для queue job.
Ответы: 3
Просмотры: 1650

Re: Настройка xdebug для queue job.

Скорее всего потому как создаётся дочерний процесс. Попробуйте тормознуть все демоны, которые слушают очередь и выполнить проблемную Job-у или через queue/exec или через queue/run. Добрый день. Есть supervisor и очередь обрабатывается в rabbitmq. Остановил supervisor, запустил через queue/listen, н...
slo_nik
2023.02.03, 21:57
Форум: Общие вопросы (Yii 2.x)
Тема: Настройка xdebug для queue job.
Ответы: 3
Просмотры: 1650

Настройка xdebug для queue job.

Добрый вечер. Возникла небольшая проблема с xdebug и не могу понять в чём дело. Есть старый проект на yii2, который надо довести до ума. Работа с очередями, в очередь ставится файл на парсинг товаров и запись в базу. Не могу понять, почему не ловятся точки останова в самом файле очереди. Проект крут...
slo_nik
2022.02.02, 20:11
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

Всегда возможен. При импорте тогда нужно будет только скачать фото к себе без resize. Получается, что если использовать этот подход, то изначально изображение загружается на сервер и хранится в оригинале. И только если потребуется просмотр этого изображения через nginx происходит resize изображения...
slo_nik
2022.02.01, 19:49
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.02.01, 09:56
Я уже спрашивал выше по теме, но Вы не ответили на вопрос по поводу resize изображений при импорте. Предлагают рассмотреть вопрос resize при помощи nginx.
Возможен такой подход в моём случае или нет?
slo_nik
2022.02.01, 19:47
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

2. Для того, чтобы узнать какие данные обработала ваша очередь, а какие нет, просто записывайте в два файла свои задачи, в первый, то что нужно обработать, а во второй, что обработалось уже. И можно потом восстановить и начать обработку с тех данных, на которых остановились. Но тут большой гемор с ...
slo_nik
2022.01.31, 20:38
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

Вернуть нельзя. Только самому в своей задаче рядом с записью в лог записать в БД, какой товар не записался. Например, в таблицу import_errors добавлять строку (import_id, product_id, error). Так сейчас и есть. Просто подумал, может получится как-то из самого rabbitmq получить данные. Верно. Если од...
slo_nik
2022.01.31, 01:26
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

В yii2-queue для настройки максимального числа повторов есть параметр attempts . Да, я знаю, что можно ограничить количество повторов. Получается, что желательно ограничивать количество попыток выполнить задание? Только я не до конца понимаю такую вещь. Есть файл импорта с товарами, разбивается на ...
slo_nik
2022.01.30, 01:02
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

RabbitMQ работает с подтверждением по Ack. Если какая-то задача отвалилась или отвалился воркер, то он отправит её на выполнение ещё раз. Узнать об ошибках можно из логов. Но это же не может продолжаться до бесконечности? Надо же будет как-то и на сайте отобразить, что произошла ошибка и импорт не ...
slo_nik
2022.01.29, 17:22
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

К товарам ещё прилагаются изображения. Сейчас я отключил (удалил из кода) запуск очереди для загрузки изображений. Как лучше поступить с загрузкой изображений? Вариант записи в базу ссылки на изображение на стороннем ресурсе не устраивает. Нужен вариант с загрузкой изображения в своё хранилище. В с...
slo_nik
2022.01.29, 17:08
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

Ещё такой момент. Сейчас все товары в одном файле записаны как json строка. Запускается обработка импорта, json переводится в массив. Полученный массив разбить на равные части и по очереди скормить очередям. Как только последняя часть будет отправлена в очередь файл удаляется. Каждая такая часть уж...
slo_nik
2022.01.29, 16:33
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

... чтобы он привязал все очереди автоматом к одному exchange. И потом все сообщения отправлять только в первый Yii::$app->queue1->push(...). Я правильно понял, что в конфиге несколько очередей, при отправке в очередь задачи указать только первую очередь, а дальше автоматически будет распределено п...
slo_nik
2022.01.29, 02:02
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.01.28, 22:58
slo_nik писал(а): 2022.01.28, 20:27 Для большинства задач, как я понимаю, достаточно будет exchenge с типом direct?
Да, для одной очереди всё равно, какой маршрутизатор.
Для одной, а если их несколько, как я планирую сделать?
slo_nik
2022.01.28, 20:27
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.01.28, 20:06
Для большинства задач, как я понимаю, достаточно будет exchenge с типом direct?
slo_nik
2022.01.28, 19:51
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.01.28, 19:43 Либо сделать отдельные exchange1..10 для каждой очереди queue1..10 и самому отправлять в 'exchange' . random_int(1, 10)
Привязка очереди к exchange будет в автоматическом режиме или надо в настройках rabbitmq, в панели управления, привязать очередь к exchange?
slo_nik
2022.01.28, 19:48
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.01.27, 13:05 и рандомно разложить в 10 очередей, для которых поднять >=10 воркеров.
Вы имеете ввиду настройки supervisor?
slo_nik
2022.01.28, 19:12
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.01.28, 11:49
А как всё-таки с настройками самого rabbitmq?
Нужно определять отдельные exchenge для каждой очереди?
На какие настройки Вы рекомендуете обратить внимание в первую очередь?
slo_nik
2022.01.27, 22:50
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

ElisDN писал(а): 2022.01.27, 20:16
В конфигурации очереди не указан параметр serializer, но в самом коде данные обрабатываются serialize() и unserialize(). Может это влиять на скорость обработки данных? Или лучше использовать serializer в конфигурации, а в коде отказаться от serialize() и unserialize()?
slo_nik
2022.01.27, 22:46
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

В конфигурации создать 10 очередей? Но как потом рандомно разложить задачи по этим очередям? Да, в случае yii2-queue объявить несколько отдельных: 'bootstrap' => [ 'queue1', ... 'queue10', ], 'components' => [ 'queue1' = [...], ... 'queue10' = [...], ], И дёргать рандомно: Yii::$app->get('queue' . ...
slo_nik
2022.01.27, 19:29
Форум: Общие вопросы (Yii 2.x)
Тема: Импорт товаров через rabbitmq
Ответы: 40
Просмотры: 5007

Re: Импорт товаров через rabbitmq

Ну так Дмитрий это и имел ввиду, у меня тоже такая мысль была. Только не по одному товару в очередь ставить, а разбивать массив товаров на пачки. Я не могу понять только, как рандомно разложить их по очередям, как советует Дмитрий. В конфигурации можно создать несколько очередей, также в конфиге su...