Поиск в БД трекера

[Winitar]

Возникла кое какая идейка, но не знаю, осуществимо ли. Суть вот в чем:

Есть определенный торрент-трекер (ну, для примера, тот же рутрекер). Можно ли написать программу, которая будет осуществлять поиск раздач на данном трекере. А так же, по необходимости, осуществлять сортировку результатов по размеру раздачи/по дате/и т.п.

При этом необходимо учитывать, что права доступа к БД трекера будут как у простого пользователя.

[Денис]

Можно ли написать программу, которая будет осуществлять поиск раздач на данном трекере. А так же, по необходимости, осуществлять сортировку результатов по размеру раздачи/по дате/и т.п.

Если Вы хотите делать это тайком от администрации трекера, то придется эмулировать хождение по страницам трекера. Вся необходимая информация о том как ходить по страницам, посылать запросы серверу, получать и анализировать данные есть на форуме. Наиболее полезны компоненты WebBrowser для хождения и HTTPRequest для запросов.

Если интересует создание легальной программы-клиента, обращайтесь к администрации трекера и спрашивайте, как лучше это организовать? Может они API предоставят, или дадут примеры запросов к БД. Но скорее всего, они пошлют на йух. Тогда делаем, как в предыдущем абзаце.

[Winitar]

Если интересует создание легальной программы-клиента, обращайтесь к администрации трекера и спрашивайте, как лучше это организовать? Может они API предоставят, или дадут примеры запросов к БД.

Что конкретно у них необходимо узнать?

И возможно ли, при эмуляции, осуществить качественный поиск, а самое главное - сортировку результатов (в стандартном поисковике самого трекера сортировка отсутствует)

[Денис]

Что конкретно у них необходимо узнать?

И возможно ли, при эмуляции, осуществить качественный поиск, а самое главное - сортировку результатов (в стандартном поисковике самого трекера сортировка отсутствует)

Вы очень интересно вопросы задаете.

1. Вместо вас никто админу трекера звонить и/или писать не будет. Что необходимо спрашивать я написал выше.

(Вообще есть соображения на этот счет: начните с того, что хотите написать клиент для их трекера, на каком языке будете писать сами не говорите, если спросят, отвечайте "на MS Visual Studio" (может это будет для вас открытием, но бейсик не уважают. очень. и если кто-то говорит, что программирует на бейсике, на него смотрят как на дилетанта, это не касается случаев, когда профи сначала показывает готовый продукт, смотрит на восхищенные возгласы, а потом говорит, что написал это на VB, после чего слушает еще больше восхищенных возгласов о том, как на таком ... он смог написать отличный продукт)

2. Когда Если вы получите список, неважно чего, вы сможете его отсортировать по любому интересующему критерию.

[Winitar]

2. Когда Если вы получите список, неважно чего, вы сможете его отсортировать по любому интересующему критерию.

И возможно ли, при эмуляции, осуществить качественный поиск, а самое главное - сортировку результатов (в стандартном поисковике самого трекера сортировка отсутствует)

Я спросил, можно ли это сделать в том случае, если не получу никакой информации от админов. То есть, как вы сказали изначально, при "эмуляции хождения по страницам трекера".

[Денис]

при эмуляции

Какой кошмар. Вы совершенно не понимаете сути вопроса? Что вы собираетесь эмулировать?

... А понял. Всё равно нет никакой эмуляции. Есть посылка запросов серверу и получение ответов от него. Ответом может быть все что угодно, коды состояния сервера, веб-страницы, мультимедийное содержимое (файлы). В случае ответа веб-страницей, вы получаете ее, загружаете в DOM и вытаскиваете элементы. Из них формируете список и сортируете как душе угодно.

Это в общих чертах.

[Winitar]

Что вы собираетесь эмулировать?

придется эмулировать хождение по страницам трекера

----

Какой кошмар. Вы совершенно не понимаете сути вопроса?

Абсолютно, потому и написал сюда.

[Денис]

Ага, я там свой предыдущий пост поправил.

[Winitar]

Всё равно нет никакой эмуляции. Есть посылка запросов серверу и получение ответов от него. Ответом может быть все что угодно, коды состояния сервера, веб-страницы, мультимедийное содержимое (файлы). В случае ответа веб-страницей, вы получаете ее, загружаете в DOM и вытаскиваете элементы. Из них формируете список и сортируете как душе угодно.

На сколько трудно это осуществить?

[Денис]

На сколько трудно это осуществить?

Не смотрите на мой ранг мега-гуру, для меня, например, это очень трудно. Я как-то пытался сделать клиент для системы госзакупок в своем регионе. И у меня ничего не заработало.
Можно обратиться за помощью к Antonariy, он спец в вопросах веба. (Кстати, что-то он пока не отметился в этом топике)

[MIT]

[off]
Сдаётся мне, что из этого топика неплохая холиварня получился
[/off]

[Денис]

MIT
Какая холиварня? Я думал, у нас тут мозговой штурм...

Winitar
Если говорить о рутрекере, то у него поиск недоступен без авторизации. Это нужно учитывать. Тут недавно это тоже обсуждалось, как правильно авторизоваться и удерживать сессию. Проблема в том, что у разных сайтов разная реализация авторизованной сессии. Кто-то кукисы отдает с идентификационными данными, кто-то добавляет к ссылкам параметр с идентификаторами, кто-то засовывает контрольный файл в кэш браузера. Разные варианты, в общем.

[FireFenix]

Как вариант - написать прогу, которая логиниться (естесно для каждого трекера - свои данные) и ищет в поиске трекера нужную вещь и потом по своим критериям сортирует (с) по мотивам Дениса

Или иметь сервер, который логиниться под своими данными и собирает данные трекеров (тут скачивание только для фришных)

Всё равно нет никакой эмуляции. Есть посылка запросов серверу и получение ответов от него. Ответом может быть все что угодно, коды состояния сервера, веб-страницы, мультимедийное содержимое (файлы). В случае ответа веб-страницей, вы получаете ее, загружаете в DOM и вытаскиваете элементы. Из них формируете список и сортируете как душе угодно.

На сколько трудно это осуществить?

на трекере есть форма поиск.... беря её за основу и формируя POST запрос мы делаем поиск..... используя простую махинаю RegEx'ов мы выбираем табличные значения, которые потом отображаем на форме.
По умолчанию вроде отображается 20 позиций => если больше 20 позиций, то нада переключаться по каждой страничке (ссылки страничек опять таки можно выбрать RegEx'ом) и опять выбирать найденные значения
Трекеры в основном умеют сами сортировать.... делая простые махинации с GET/POST запросом - волне возможно отсортировать как нада, если же нет - то грузим в форму и вручную сортируем


Остаётся вопрос в рациональности... зачем громоздить кучу всякого если на 2х трекерах (free-torrents.ru и rutracker.org) со своим родным поиском и сортировкой можно найти всё?

[Winitar]

Остаётся вопрос в рациональности... зачем громоздить кучу всякого если на 2х трекерах (free-torrents.ru и rutracker.org) со своим родным поиском и сортировкой можно найти всё?

На том трекере, для которого хочу сделать программу, толкового поиска нет.