граббер на php

[Ghost_nsk]

народ посоветуйте универсальное решение

[andipas]

Самое лучшее решение на мой взгляд phpQuery. Синтаксис запросов как у jQuery

[Ghost_nsk]

Самое лучшее решение на мой взгляд phpQuery. Синтаксис запросов как у jQuery

ништячок, то что надо, особенно за jquery спасибо

[anton44eg]

писал граббер на php. Использовал curl и phpQuery. Проблемы с утечечкой памяти и некоторые проблемы с curl достали, переписал на python с requests и pyquery (порт JQuery на питон, фактически аналог phpQuery)

[Ghost_nsk]

Проблемы с утечечкой памяти

поподробнее если можно

[anton44eg]

нужно было проходить довольно много страниц. Curl тёк довольно сильно, phpQuery севсем немного. Это как мне удалось выяснить )

[r3verser]

Парсил 50к+ страниц, брал страницу через Zend_Http_Client, а парсил через phpQuery. Все отлично.
p.s. Zend_Http_Client по умолчанию через сокеты работает.

[anton44eg]

А какая версия php? У меня после 5к страниц уже процесс php перерастал все мыслимые обьемы. Сначала винил AR, сделал без AR, ситауация не менялась
Zend_Http_Client - обёртка над curl?

[r3verser]

У Zend_Http_Client можно менять тип подключения, с помощью адаптеров. По умолчанию он использует Zend_Http_Client_Adapter_Socket, тобиж fsockopen. А можно и курл Zend_Http_Client_Adapter_Curl. Я использовал сокеты. PHP 5.3.5.

[anton44eg]

ага, спасибо. как-нибудь попробую. у него есть средства для распараллеливания запросов?

[r3verser]

у него есть средства для распараллеливания запросов?

Нет, насколько мне известно.

[andipas]

Решение для многопоточных запросов, Zend_Http_Client и multi_curl - http://it-giki.com/post/205.html