Здравствуйте, проблема такая, нужно экспортировать большое количество данных в Excel. Данные подгружаю с помощью Active Records и соответсвенно вылетает фатальная ошибка по переполнению памяти. Можно ли частями вызывать данные и после освобождать память и потом еще часть и так далее.
Перепробовал разные методы к примеру в foreache забираю часть данных, записываю и в конце делаю unset() и все равно память растет, запускал принудительно чистильщик мусора, бесполезно. Может есть какие то методики которые я упускаю?
Не охота все переписывать на DAO, слишком большая архитектура объектов.
Экспорт в файл, большого объема данных
Re: Экспорт в файл, большого объема данных
Посмотрите на эти функции, так пробовали?
Пакетное получение данных
Пакетное получение данных
Re: Экспорт в файл, большого объема данных
PhpExcel библиотека?
Re: Экспорт в файл, большого объема данных
Пока не ответили, думаю что phpexcel вероятнее всего.
Советы -
1) используйте sql запросы без activerecord. используйте limit и offset. В моей задаче надо было использовать фильтр с gridview. Я в модели Search дописал функцию для отдачи массива данных, используя limit и offset. Это позволило увеличить экспорт с 8 тыс строк до 50тыс строк.
2) используйте файловое кэшировать в phpexcel. Если используете общие библиотеки, переписывайте функционал напрямую с phpexcel.
Советы -
1) используйте sql запросы без activerecord. используйте limit и offset. В моей задаче надо было использовать фильтр с gridview. Я в модели Search дописал функцию для отдачи массива данных, используя limit и offset. Это позволило увеличить экспорт с 8 тыс строк до 50тыс строк.
2) используйте файловое кэшировать в phpexcel. Если используете общие библиотеки, переписывайте функционал напрямую с phpexcel.
Код: Выделить всё
$cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_to_sqlite3;
$cacheSettings = array( 'memoryCacheSize ' => '500MB');
\PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);
$objPHPExcel = new PHPExcel();
Re: Экспорт в файл, большого объема данных
Был вне интернета.
Спасибо, каким то образом эту фичу просмотрел, Попробую.Restlin писал(а):Посмотрите на эти функции, так пробовали?
Пакетное получение данных
Re: Экспорт в файл, большого объема данных
Да, phpExcel. За кеширование спасибо. Попробую, отпишусьkawabanga писал(а):Пока не ответили, думаю что phpexcel вероятнее всего.
Советы -
1) используйте sql запросы без activerecord. используйте limit и offset. В моей задаче надо было использовать фильтр с gridview. Я в модели Search дописал функцию для отдачи массива данных, используя limit и offset. Это позволило увеличить экспорт с 8 тыс строк до 50тыс строк.
2) используйте файловое кэшировать в phpexcel. Если используете общие библиотеки, переписывайте функционал напрямую с phpexcel.Код: Выделить всё
$cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_to_sqlite3; $cacheSettings = array( 'memoryCacheSize ' => '500MB'); \PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings); $objPHPExcel = new PHPExcel();