Проверка на дублирование в базе.

[PartyPoison]

Есть csv файл размером в 90000+ строк (уникальных идентификаторов у них нет).

При парсинге проверяю наличее строки в базе таким образом (что бы небыло дубляжей при повторном парсинге файла)

Код: Выделить всё

if (!Crosses::find()->where(['article' => $record[0], 'cross_article' => $record[2]])->one())

По наполнению таблицы записями из файла парсинг существенно замедляется так как идет проверка с записями которые были добавлены.

Можно ли как либо оптимизировать данную проверку на дублирование без уникальных индексов? Так как в csv файл у заказчика добавить нет возможности дополнительную колонку с уникальным значением.

[S c]

так добавьте ключи, и используйте INSERT IGNORE к примеру

[PartyPoison]

так добавьте ключи, и используйте INSERT IGNORE к примеру

Ключи к чему ? Каких либо уникальных значений в записи файла нету. Если бы все было так просто)

[S c]

Код: Выделить всё

->where(['article' => $record[0], 'cross_article' => $record[2]])->one()

или все же есть?

[PartyPoison]

Код: Выделить всё

->where(['article' => $record[0], 'cross_article' => $record[2]])->one()

или все же есть?

Вы думаете я просто так проверяю сразу 2 значения ? Они могут быть следующего вида (условно):

article cross_article
11111111 222222222
11111111 333333333
22222222 333333333
22222222 333333333

красный в моем случаи не уникальный

В данном случаи они все уникальны но unique здесь не подойдут или я чего то не знаю)

[someweb]

Уникальный ключ может быть составным - по нескольким полям.

[PartyPoison]

Уникальный ключ может быть составным - по нескольким полям.

Посмотрю эту тему. Спасибо.

[S c]

как ответили выше - составной unique по 2м полям и insert ignore, проблема решена

[chesar]

Парсить пачку строк.
Выбрать дубликаты.
Отфильтровать.
Вставить оставшиеся.