Код: Выделить всё
$criteria=new CDbCriteria;
$criteria->limit = 10000;
return count(Products::model()->findAll($criteria));
Код: Выделить всё
$criteria=new CDbCriteria;
$criteria->limit = 20000; // и более (либо без лимита)
return count(Products::model()->findAll($criteria));
Код: Выделить всё
SELECT COUNT( * )
FROM `products`
LIMIT 50000Код: Выделить всё
COUNT(*)
2229145Код: Выделить всё
SELECT *
FROM `shop_products`
LIMIT 50000Код: Выделить всё
Отображает строки 0 - 29 (50,000 всего, запрос занял 0.0388 сек.)Код: Выделить всё
SELECT *
FROM `shop_products`
LIMIT 50000А причем здесь count и пхп в вашем примере?anton-ny писал(а):Допустим дело в памяти, проверим:
Выполняю в PHPMyAdmin команду
Код: Выделить всё
SELECT COUNT( * ) FROM `products`;Код: Выделить всё
SELECT * FROM `products`;Код: Выделить всё
<?php
$dbh = new PDO($dsn, $user, $password);
$sht = $dbh->prepare('SELECT * FROM products');
$sth->execute();
$result = $sth->fetchAll();
echo count($result);
Код: Выделить всё
$dbh = new PDO($dsn, $user, $password);
$sth = $dbh->prepare('SELECT * FROM products LIMIT 100000');
$sth->execute();
$result = $sth->fetchAll();
echo count($result);Да, мне нужен массив с примерно 20 000 - 50 000 строк.kmtz писал(а):Вам действительно нужен массив со всеми этими данными? Вы планируете выводить на экран единоразово таблицу из 100 000 строк? Чем вас не устраивает select count(id)?
1. Полное отсутствие ошибок на экране и в логах это нормально в данном случае?kmtz писал(а):Хорошо, задача хоть ясна теперь ). И если задача именно такая - то копать в сторону увеличения выделения памяти, либо пользоваться другими средствами.
Не храните единовременно все записи в памяти (fetch без All) - разбирайте по одному ряду, (или формируйте буфер из нескольких рядов) и его выкатывайте в выходной файл. Как вариант - можно отказаться от использования AR в пользу DAO - 100к рядов уже разберётсяanton-ny писал(а):2. Можете привести пример, какими средствами ещё можно воспользоваться для решения задачи?
Вы предлагаете делать не один запрос к базе на 100к строк, а 100к запросов к базе по одной строке? Мне кажется это будет ооочень долго.esche писал(а):Не храните единовременно все записи в памяти (fetch без All) - разбирайте по одному ряду, (или формируйте буфер из нескольких рядов) и его выкатывайте в выходной файл. Как вариант - можно отказаться от использования AR в пользу DAO - 100к рядов уже разберётся
по поводу ошибок - смотрите настройки сервера/php - обычно вылезает что-то вроде "Allowed memory size of .. bytes exhausted"
Я точно такое предлагаю?anton-ny писал(а):Вы предлагаете делать не один запрос к базе на 100к строк, а 100к запросов к базе по одной строке? Мне кажется это будет ооочень долго.
По поводу DAO я ещё подумаю, это хоть временный но выход. А мой предел в 100к строй увеличить как-то можно? Пробовал увеличивать memory_limit для PHP - всё тоже самое.
Я что-то не так понял? Тогда разжуйте уж пожалуйста для меня.esche писал(а):Я точно такое предлагаю?
Выставляю в php.iniesche писал(а):memory_limit - не всегда можно увеличить без php.ini - смотрите "реальное" значение в скрипте
anton-ny писал(а):Я что-то не так понял? Тогда разжуйте уж пожалуйста для меня.
1 запрос, много записей.. из результата получать одну запись, обрабатывать её и складывать в нужном виде куда надо (в файл?). При этом в памяти массив с данными для обработки вместо 100к*X будет занимать X байтНе храните единовременно все записи в памяти (fetch без All) - разбирайте по одному ряду,
Код: Выделить всё
ini_get('memory_limit'); Ну а результат-то из которого надо брать одну запись где? Опять же в памяти?esche писал(а):1 запрос, много записей.. из результата получать одну запись, обрабатывать её и складывать в нужном виде куда надо (в файл?). При этом в памяти массив с данными для обработки вместо 100к*X будет занимать X байтКод: Выделить всё
ini_get('memory_limit');
Да попробуйте же fetch без All http://www.php.net/manual/en/pdostatement.fetch.phpanton-ny писал(а):Ну а результат-то из которого надо брать одну запись где? Опять же в памяти?
Код: Выделить всё
$stmt->execute();
while ($row = $stmt->fetch(PDO::FETCH_NUM, PDO::FETCH_ORI_NEXT)) {
$data = $row[0] . "\t" . $row[1] . "\t" . $row[2] . "\n";
print $data;
} Пробовал.d4rkr00t писал(а):Может скрипту тупо не хватает времени на исполнение, попробуйте увеличить set_time_limit ( int $seconds ) вроде 0 неограниченное время.