Утилита синхронизации файлов с HTTP в локальную папку

[Adam Smith]

Если в ответе на HEAD запрос, в Content-Type: нет указания charset= значит мы запросили заголовок файла, а не страницы. Нормальный способ проверить ссылку?

[alibek]

Чего? У веб-серверов нет файлов.

[Adam Smith]

Запрос со ссылкой на страницу:

Код: Выделить всё

HEAD /index.php?RSongID=2312&Link=2312 HTTP/1.1
Host: www.smallchurchmusic.com
Connection: close
User-Agent: compatible; MSIE 7.0; Windows NT 6.0

HTTP/1.1 200 OK
Date: Mon, 04 Jan 2016 16:42:34 GMT
Server: Apache
X-Powered-By: PHP/5.3.29
Connection: close
Content-Type: text/html; charset=UTF-8

Есть charset.

Запрос со ссылкой на файл:

Код: Выделить всё

HEAD /Snippet/S-ABabeLies-Corner-PipeLC-48-CAM.mp3 HTTP/1.1
Host: www.smallchurchmusic.com
Connection: close
User-Agent: compatible; MSIE 7.0; Windows NT 6.0

HTTP/1.1 200 OK
Date: Mon, 04 Jan 2016 16:36:53 GMT
Server: Apache
Last-Modified: Thu, 22 Jul 2010 05:34:13 GMT
Accept-Ranges: bytes
Content-Length: 181139
Connection: close
Content-Type: audio/mpeg

Нет charset'а.
Может кто-то знает причину, почему это плохо. Это нормальный способ проверять ссылку?

[Хакер]

Не существует деления на страницы и файлы с точки зрения HTTP.

Может кто-то знает причину, почему это плохо.

Чарсета нет не потому, что это файл, а потому что MIME-тип audio/mpeg не предполагает такого понятия как charset вообще.

[Adam Smith]

Это неправильный ответ. Для html-файла, в котором есть charset сервер тоже пишет, что charset'а нет.
Я тоже так подумал и проверил, вот такой ответ сервера опровергает твоё(и моё) предположение:

HTTP/1.1 200 OK
Server: nginx/1.0.15
Date: Mon, 04 Jan 2016 17:50:13 GMT
Content-Type: text/html
Content-Length: 82042
Last-Modified: Fri, 20 Nov 2015 10:07:29 GMT
Connection: close
Accept-Ranges: bytes

Я не знаток вэб-серверов, но очевидно, что не каждый html-файл на вэб-сервере выдаётся за страницу при HEAD запросе.

[Хакер]

ля html-файла, в котором есть charset сервер тоже пишет, что charset'а нет.

Он не обязан писать, если не пишет — значит нужно смотреть <meta> или догадываться, анализируя энтропию.

[Adam Smith]

Нет, ты не понял моего вопроса. Дело не в том, обязан он или нет, и я не ищу charset любой ценой. Вопрос был совсем в другом направлении.
Сервер выдаёт charset когда я даю запрос в котором указываю URI странички с этого сервера.

Код: Выделить всё

Запрос:
HEAD /index.php HTTP/1.1
Host: www.smallchurchmusic.com
Connection: close
User-Agent: compatible; MSIE 7.0; Windows NT 6.0

Ответ:
HTTP/1.1 200 OK
Date: Mon, 04 Jan 2016 16:42:34 GMT
Server: Apache
X-Powered-By: PHP/5.3.29
Connection: close
Content-Type: text/html; charset=UTF-8

И сервер НЕ выдаёт charset когда я даю запрос в котором указываю URI файла с этого сервера.

Код: Выделить всё

Запрос:
HEAD /update/rma/resources/info/offer.html HTTP/1.1
Host: cp.unipay.ru
Connection: close
User-Agent: compatible; MSIE 7.0; Windows NT 6.0

Ответ:
HTTP/1.1 200 OK
Server: nginx/1.0.15
Date: Mon, 04 Jan 2016 17:50:13 GMT
Content-Type: text/html
Content-Length: 82042
Last-Modified: Fri, 20 Nov 2015 10:07:29 GMT
Connection: close
Accept-Ranges: bytes

Я понимаю, что с точки зрения HTTP и прочее и прочее. Но на минуточку, я просто привёл тут факт, вы же видите его.
Ориентируясь на charset я планирую отличать ссылки на странички от прямых ссылок на файлы.
Внимание, вот какой был вопрос: Это годный способ отличить прямую ссылку на файл?

[Хакер]

Внимание, вот какой был вопрос: Это годный способ отличить прямую ссылку на файл?

Никакого, потому что с точки зрения HTTP нет ни страниц, ни файлов. Есть понятие «ресурс» и всё, и URL — его описатель-идентификатор.

[Adam Smith]

Я бы тоже сейчас мог написать, что мне надоела твоя непроходимость. Понимаю, что и факты в зазеркалье иные. Но попробую ещё раз. Может это был не тот факт.
Любой браузер как-то отличает прямую ссылку когда начинает скачивать (или как огнелис и осел предлагает скачать файл), а ведь могло и иное произойти, например когда браузер начинает воспроизводить этот mp3-файл буквально перейдя на него как на страницу.
Вот и я хочу как-то кроме хвоста ссылки (*.xxx) отличать прямую ссылку на файл от другой ссылки на куда-то ещё.

[Хакер]

Любой браузер как-то отличает прямую ссылку когда начинает скачивать (или как огнелис и осел предлагает скачать файл)

И что, в случае с /update/rma/resources/info/offer.html браузер предлагает тебе скачать этот html-файл, а не показывает его, как есть?

[Adam Smith]

Рядом с ним есть ещё xml и cfg файлы. html и xml открываются в той же закладке в браузере, а cfg сразу скачивается.
Хром решил, что может воспроизвести эти типы. Хром и mp3 и avi воспроизвел, а не предложил скачать.
Но как-то наверное отличаются прямые ссылки или только по типу данных? Но я не хочу отфильтровывать html-файлы.

В ответе от википедии действительно в заголовке нет charset'а.

Код: Выделить всё

HTTP/1.1 301 TLS Redirect
Server: Varnish
Location: https://ru.wikipedia.org/wiki/User_Agent
Content-Length: 0
Accept-Ranges: bytes
Date: Mon, 04 Jan 2016 19:56:49 GMT
X-Varnish: 1214115036
Age: 0
Via: 1.1 varnish
Connection: close
X-Cache: cp3031 frontend (0)
Set-Cookie: WMF-Last-Access=04-Jan-2016;Path=/;HttpOnly;Expires=Fri, 05 Feb 2016 12:00:00 GMT
X-Client-IP: 91.215.221.250
Cache-Control: private, s-maxage=0, max-age=0, must-revalidate
Set-Cookie: GeoIP=RU:12:Grozny:43.31:45.70:v4; Path=/; Domain=.wikipedia.org

[Admiralisimys]

Хакер я стыкался с таким, что по ссылке веб сервер не отдаёт контент на просмотр, а провоцирует скачку последнего. К примеру http://download.microsoft.com/download/7/d/c/7dce8ed3-8d44-421f-902c-95391577ecb5/readme.htm
Обратная ситуация, когда браузер пытается буквально отобразить содержимое объекта, которого нужно бы сохранить в файл, тоже встречалась, но тут я больше склонен на то что это глюки браузера.

[Adam Smith]

Ну вот кто-то с практическим опытом, а то меня всё футболят к теории HTTP. Спасибо тебе человек, ссылка явно наводит на размышление.
Похоже проверять можно только по хвосту ссылки. Если там .xxx или .xxxx, то качать в файл, а иначе наверняка скачаю страничку с сайта.
В моём то случае сервер не заставляет скачивать файл, а оставляет этот вопрос на усмотрение браузера, но значит это настройка сервера.

[Хакер]

Хром решил, что может воспроизвести эти типы. Хром и mp3 и avi воспроизвел, а не предложил скачать.
Но как-то наверное отличаются прямые ссылки или только по типу данных?

Вот именно.

Есть способ, которым серверы напрямую могут указывать клиентам, отобразить (любым доступным методом) или сохранить необходимо данный ресурс. Для его предусмотрен заголовок Content-Disposition, он же имеет параметр, способный указать даже имя файла по умолчанию, под которым ресурс следует сохранять. Это имя оказывается заранее забитым в диалоге сохранения.

Если этого заголовка нет, предполагается, что браузер должен не предложить сохранить, а отобразить контент. А дальше браузер уже может сам выбрать, либо он умеет отображать и отображает, либо он не знает, что с этим MIME-типом делать и предлагает его скачать.

[Хакер]

Ну вот кто-то с практическим опытом, а то меня всё футболят к теории HTTP. Спасибо тебе человек, ссылка явно наводит на размышление.
Похоже проверять можно только по хвосту ссылки. Если там .xxx или .xxxx, то качать в файл, а иначе наверняка скачаю страничку с сайта.

Ты недалёк в своих суждениях. Просто кто-то в отличие от тебя знает HTTP и знает заголовки (в частности — Content-Disposition), а кто-то лезет писать какие-то утилиты изучив пару вещей.

[Adam Smith]

добавь частицу не, ато получается любимая тобою чушь

[Хакер]

добавь частицу не, ато получается любимая тобою чушь

Там было пропущено не «не», а «кто-то». Исправил.

[Adam Smith]

Любитель конкретики, напиши "Ты лезешь писать утилиты ничего в этом не понимая и никто тебе не поможет." только не лей вокруг да около.
Эта твоя манера "любить конкретику и отвечать на конкретные вопросы" показушная и очень утомляет, это глупая и напрасная трата времени.
Ты конечно значимая величина в программировании и тебе некогда закончить даже то, что начал и что кроме тебя никто не сможет сделать.
Что уж говорить о каких-то там банальных утилитках, ты не станешь тратить своё время на такие вещи, но мне такая нужна и я сам её пишу.
Это не первая и не последняя свистелка, которую я написал для себя и поделился, как бы ужасно это не звучало для тебя, их было несколько.
Это ни в коем случае не попытка тебя оскорбить, это просто моя правда, раз уж разговор зашел о ком-то кто знает и ком-то другом, кто лезет.
Как там говорилось, кесарю кесарево, одни знают и не делятся, а другие лазят и делятся. Мог бы подсказать по делу, если бы не "характер".

[Хакер]

Мог бы подсказать по делу, если бы не "характер".

По-моему тебе подсказали, либо ты смотришь как-то слишком избирательно.

Истина об устройстве мира состоит в том, что в рамках HTTP нет понятия файлов, нет разделения на страницы и файлы, а есть только ресурсы. Есть только ресурсы и есть заголовок Content-Disposition, предписывающий, что браузер должен делать при получении ресурса. И есть MIME-типы.

Перевари это и думай, что с этим делать.

[Adam Smith]

6 или 7 постов назад я это понял и так и написал, что буду ориентировать по хвосту ссылки, мне просто нет смысла держать настраиваемый список типов.
Сделаю одну галку в настройках, которая по-умолчанию включает мой импровизированный фильтр мусора, а если её снять, то будут валиться все ссылки.

Придумал, я не только хвост(расширение), но ещё и "название" файла буду контролировать на присутствие запрещенных в файловой системе символов,
а если совместить это с контролем присутствия charset, то и статичные странички сайта скорее всего не прорвутся в мой отфильтрованный список.

[Adam Smith]

Показали мне вот эту ссылку и я понял, что по ссылке невозможно судить о том, что за ней скрывается.
http://www.sql.ru/forum/actualfile.aspx?id=18590450
Пока фильтр включен по-умолчанию буду отфильтровывать Content-Type: text/html, но имена файлов контролировать придется.

[Qwertiy]

я это понял и так и написал, что буду ориентировать по хвосту ссылки

Ничего ты не понял. Читай пока не дойдёт:

есть заголовок Content-Disposition

Есть два заголовка content-type и content-disposition. Они однозначно определяют, что делать с файлом.
Никаких хвостов, никаких charset'ов, никаких других выкрутасов. Кроме обработки редиректа, но это совсем другая тема.

[Adam Smith]

раз уж начал расскажи про выкрутасы с редиректом

[Adam Smith]

Снова, я такого ещё не делал. Логичнее распаралелить и проконтролировать работу массива инстансов класса, чтоб каждый выполнял свой HEAD запрос.
Для этого нужен будет код, которого я никогда раньше не писал. Лучше сначала отображу клиенту сырой список ссылок, чтобы он отобрал, что нужно.

[alibek]

Если хочешь потрепать языком, то делать это нужно в соответствующем форуме.
Если хочешь решить конкретную задачу, используй готовый инструмент (wget, curl, их множество на любые требования).
Если хочешь понять, как решается подобная задача, то перечитай последнюю страницу и последуй данным советам.
В этом форуме беспредметные и пустые разговоры — офтопик.

[Adam Smith]

wget я скачал и установил, древний, не работает под Win7
curl малоинформативный, древний консольный раритет

[alibek]

man wget
man curl

[Qwertiy]

wget я скачал и установил, древний, не работает под Win7

http://ithappens.me/story/1778
Если ты не указал url и программа сказала, что url некорректный, то она не работает?

Вместо /? он хочет -h или --help - это как бы стандарт для линуксовых и кроссплатформенных программ.

[Adam Smith]

Qwertiy, я понял, это нормально, писать о curl цитируя то, что было сказано мной о wget. Продолжай

alibek, спасибо!

мне бы мануалы по-русски, попробую перевести онлайн переводчиками, и может быть просто напишу GUI, хотя всё равно нет гарантии, что это будет работать в Win7 и выше.

[Хакер]

wget я скачал и установил, древний, не работает под Win7
curl малоинформативный, древний консольный раритет

По-моему мы имеем дело с троллем.