нужен php разработчик (серч система)

[pgamaster]

Нужен разработчик. Знания:
1. html, css
2. php (MVC, ооп)
3. mysql
4. javascript + jquery
5. redis или аналоги
6. sphinx
7. понимание базового администрирования, nginx.
Ну и так далее.

З/п по уровню знаний. Удаленно. Можно на пол дня. Оплата поэтапная. По деньгам нужно говорить. Присылайте портфолио, опыт работ и тп.

Для написания проекта с нуля на yii. Специфическая поисковая система. Много парсинга, боты. Ожидаемая база данных на примерно 30 миллионов позиций (около 100 млн страниц у сайтов). Около 30 доменов для индексирования.
А также на поддержку существующих проектов (самопис).

Пишите в личку.

[vdorosh]

Ожидаемая база данных на примерно 30 миллионов

чего?

[pgamaster]

Уникальных элементов. В общем приведены примерные данные по объему информации.

[vdorosh]

Уникальных элементов

да похоже на такое объявления вряд ли кто то откликнется

[kukuruku]

Нужен разработчик. Знания:
1. html, css
2. php
3. mysql
4. javascript + jquery
5. redis или аналоги
6. sphinx
7. понимание базового администрирования, nginx.
Ну и так далее.

з/п по уровню знаний

можно увидеть график зависимости зарплаты от уровня знаний?

[pgamaster]

Уникальных элементов

да похоже на такое объявления вряд ли кто то откликнется

Почему? Сильно сложный проект?

[alexzv]

Я думаю, что нужно подробней описать, что именно Вы хотите. Так как полноценная поисковая система - это сложный и требующий больших затрат проект.

[pgamaster]

Я думаю, что нужно подробней описать, что именно Вы хотите. Так как полноценная поисковая система - это сложный и требующий больших затрат проект.

Ну если коротко то сайт подобный этому __http://www.filestube.com/
А по сути это набор краулеров (сразу 30 никто не будет писать, начнем с 3-5), анализ собранных данных, и выдача по поиску результатов.

[alekciy]

А по сути это набор краулеров (сразу 30 никто не будет писать, начнем с 3-5).

Кастомный краулер под сайт обычно означает точное знание, в какой чисти страницы (или DOM-а) находится требуемая информация. Все что после этого требуется - нормализация этих данных. Зачем там shpinx?

[pgamaster]

А по сути это набор краулеров (сразу 30 никто не будет писать, начнем с 3-5).

Кастомный краулер под сайт обычно означает точное знание, в какой чисти страницы (или DOM-а) находится требуемая информация. Все что после этого требуется - нормализация этих данных. Зачем там shpinx?

Для поиска по сайту. Ну это все элементарно имхо для нормального программиста. Можно и не использовать shpinx если будут более рациональные предложения.
По поводу краулера, к чему это? )

[alekciy]

Для поиска по сайту. Ну это все элементарно имхо для нормального программиста.

Эм... тогда я не понял, зачем тут нужны какие-то особые краулеры. Если просто поиск по сайту, то контент можно получить тем же wget-ом и скормить его sphinx-у, на сколько я помню он переваривает xml. Хотя тот же склероз напоминает, что последний требует описание источника в конфиге... Кстати, хорошие поисковые движки были задолго до sphinx-а. Рекомендую посмотреть на Solr от Apache. В контексте последних есть даже готовые краулер Nutch которые может работать с Solr в связке.

Можно и не использовать shpinx если будут более рациональные предложения.

Solr+Nutch скорее всего может оказаться более предпочтительным. Из возможных "минусов" меньшая степень распиаренности в рунете (меньше материалов на русском), написан на Java.

По поводу краулера, к чему это? )

Это к "начнем с 3-5". Фраза как бы намекает, что предполагаются кастомные краулеры написанные под конкретные ресуры. К примеру, такой нужен для выкачивания каталога, когда нас интерисуют параметры товара (цена) и не интерисует весь остальный контент страницы. В этом случае точно известно положение этих данных на странице и их тип. Поэтому данных можно сразу пихать в базу, sphinx тут мало нужен тогда. С другой стороны если требуется полнотекстовой поиск по сайту, то "начнем с 3-5" краулеров не нужно, т.к. тупо скачку данных без проблем выполняет тот же wget (который, кстати, делает это на отлично), после чего контент страницы можно просто закинуть в поисковые движок (xml/html->DOM->body->textContent).

[pgamaster]

В принципе подойдет универсальный краулер если его грамотно написать (по типу гугл бота). Я мало знаком с возможностями Wget , возможно и он подойдет (по сути готовый бот).
В общем это все можно и _нужно_ обсуждать. Ваша мысль мне понятна... но не до конца. Я себе немного по другому это представлял.
Sphinx я планировал использовать как поисковый движок на сайте.

alekciy, вы хотите взяться за работу?

[anton44eg]

Давайте напишем Гугл на php, wget и sphinx!

[pgamaster]

Давайте напишем Гугл на php, wget и sphinx!

давайте

[alekciy]

Ваша мысль мне понятна... но не до конца. Я себе немного по другому это представлял.

А как? Могу пояснить непонятные моменты.

Sphinx я планировал использовать как поисковый движок на сайте.

Из коробки это невозможно, ведь sphinx не более чем движок с полнотекстовым поиском с учетом формологии. Он не может сам качать страницы, все что он может вернуть идентификаторы документов которые он считает релевантными.

alekciy, вы хотите взяться за работу?

Прямо вот в данный момент нет. У меня у самого пачка парсеров недопиленных в разработке. Но потенциально интересно.

[alekciy]

Давайте напишем Гугл на php, wget и sphinx!

Задача вполне реализуемая. Ни что же не мешает фейсбуку Другой вопрос, что для этой задачи указанная связка сильно неоптимальное решение в плане стоимости владения относительно качества выдачи.

[pgamaster]

Так Sphinx не будет ничего парсить) Он будет просто выдавать результаты поиска юзеру. Для начала нужно собрать базу а поиск прикрутить это дело десятое.
Я предполагаю сперва собрать базу пауками. Затем уже на сайте проекта будет поиск. А о чем вы говорите я не понял)

[anton44eg]

Так давайте и ОС писать на PHP! Ни что же не мешает фейсбуку

[alekciy]

Я предполагаю сперва собрать базу пауками. Затем уже на сайте проекта будет поиск. А о чем вы говорите я не понял)

Я говорю о том, что специализированный паук с встроенным парсером может данные забирать о которых он знает. И распихивать их в базу. И Sphinx тут нужен только если сграбленные данные это большие куски текста.
Если нужен Sphinx индексирующий полностью странички, то специализированный паук с настраиваемым парсером не нужен. По сути нужна тупо качалка бегающая по ссылкам. Но тогда мне не понятно требование по написанию таких парсеров.

Просто требования писаные крайне расплывчато (не говоря уже про redis). Поэтому я пытаюсь выяснить, что же нужно на самом деле. Что бы не получилось, что нужен просто банальный поиск на сайте. Когда клиент по ходу узнает, что можно к сайту прикрутить поиск от яндекса. И сливается. Логичнее это выяснить изначально и уж если так, направить на путь истинный. Кстати, могу еще дать подсказку. От Яндекса есть такой проект как Яндекс.Сервер. Свободный, можно поставить на свой сервак.

[alekciy]

Так давайте и ОС писать на PHP! Ни что же не мешает фейсбуку

А почему нет. just for fun. Только без меня. И это уже полный офтопик.

P.S. Веселее это делать на JS.