1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.

Как бороться с защитой сайта от скачивания

Тема в разделе "Интернет", создана пользователем Hermes, 27.10.03.

  1. Hermes

    Hermes Активный участник

    11.635
    2
    Подскажите, пожалуйста, по теме сабжа, а то ручками сохранять 400 страниц как то неохота.
    :)
     
  2. RubiN

    RubiN Активный участник

    6.629
    425
    если доступ к страницам через скрипты и если используется СУБД - то никак. Генерируемая скриптом информация НЕ ОБЯЗАТЕЛЬНО расположена в директориях ВЕБ-СЕРВЕРА
     
  3. Hermes

    Hermes Активный участник

    11.635
    2
    Насколько я понимаю, сервер просто следит, чтоб с одного IP слишком часто не шли запорсы. То есть если есть оффлайн-браузер, который может прикидываться, например, IE, и будет делатть паузы перед запросом очередной страницы, то все должно быть нормально. Вопрос в том, есть ли такой оффлайн-браузер и где его взять?

    Добавление от [date]1067334357[/date]:
    Защита то состоит в том, что обычным браузером я все могу прочиать, а оффлайн браузер скачивает около 30 страниц и дальше получает странички в которых говорится про защиту от скачивания.
     
  4. Ivan

    Ivan Werewolf

    10.306
    591
    Hermes
    Поищи информацию про файлик robots.txt. Если найдешь, думаю, это и будет ответ…
     
  5. luka

    luka Активный участник

    704
    0
    Hermes, такой оффлайн-браузер можно сделать на perl. Элементарно!
     
  6. Hermes

    Hermes Активный участник

    11.635
    2
    luka
    Это все понятно, но мы легких путей не ищем! :) Я вышел из положения другим способом. Поставил WebZip вместо Teleport-а и сказал ему, чтоб тот немного ограничил скорость закачки и делал паузу в 3 сек между запросами страниц. Сейчас все качается, а я сижу и спокойно пью кофе :)
     
  7. RubiN

    RubiN Активный участник

    6.629
    425
    Hermes, тему поподробней надо разворачивать, а то сразу непонятно чё ты хотел на самом деле.
     
  8. Hermes

    Hermes Активный участник

    11.635
    2
    Zombie, ок

    хотя я думал, что достаточно ясно выразился
     
  9. RubiN

    RubiN Активный участник

    6.629
    425
    могу пояснить:
    ИМХО подразумевает преодоление ограничения доступа к ресурсам веб-сервера, т.е., например, невозможность обратиться к файлу по прямой ссылке или доступ к файлу только по паролю, по IP клиента или каким-то еще условиям....

    то о чем ты спросил обычно называют ограничением кол-ва запросов в ед. времени, или уменьшением траффика
     
  10. Hermes

    Hermes Активный участник

    11.635
    2
    Еще раз извиняюсь, за неточную формулировку вопроса

    Добавление от [date]1067344581[/date]:
    Просто мне в телепорт вернулась страничка, где было написно, что "Сработала защита от скачивания"
     
  11. Slavon™

    Slavon™ Активный участник

    5.539
    16
    Я вообще понять не могу нафиг такая защита нужна и кто ее использует, ну хотлинки то ладно, но защита сайта от скачивания - бред, хотя мож людям пару баксов на хостинг нормальный не хватает, иначе незачем защищать ничего ....
     
  12. RubiN

    RubiN Активный участник

    6.629
    425
    Slavon™
    информация имеет цену. платишь бабки - тебе дают пароль на доступ к сайту (или к некоторым разделам)
    Причем это не обязательно порносайты. Например, какой-нибудь мониторинг цен на прокисшее молоко..
     
  13. Hermes

    Hermes Активный участник

    11.635
    2
    Slavon
    Ну это то как раз понять можно. Оффлайн-браузеры по идее нехило грузят сервер, когда качают инфу. Просто по уму было бы выложить архив со статьями, если тебе надо все целиком - качай.

    В моей ситуации - есть сайт посвященный программированию, есть раздел, посвященный MFC - там около 400 статей небольших. Мне нужен, именно этот раздел, но сохранять руками 400 страниц очень напряжно. Если бы они выложили архив с содержимым раздела, никому бы в голову не пришло тянуть весь раздел телепортом, а так пришлось немного помучатться.
     
  14. Slavon™

    Slavon™ Активный участник

    5.539
    16
    Ну рассмешил... кому нужно прокисшее молоко :D :D :D
    Не ну по паролю конечно можно защищить, НО, если ты продал человеку что то по паролю, то ты ж не просил его смотреть тока через ИЕ, ОПЕРа, МОЗилла, так что ты уже не прав - он тебе платит, а ты его ограничиваешь. Хочет порнуху качать всю - пусть качает, хочет хость взбитые сливки мониторит - он заплатил. Например америкосам все равно что качать что с одной стороны что с другой - копейки, это скорее б понравилось тем кто хоститься у нас...
     
  15. Slavon™

    Slavon™ Активный участник

    5.539
    16
    Говорите точно скока вешать??? домашнюю страничку телекома каконь (ну мож не волгоградского) они сильно грузят??? какого сервера ??? 486 машины???? - бред экономия на мелочах - это возможно тока у нас или в еще более нищих до интернета странах, либо надо быть старыми маразматиком, чтоб все это включать на нормальных серваках.
     
  16. RubiN

    RubiN Активный участник

    6.629
    425
    Я к примеру сказал. Но смешного в этом ничего нет. Люди готовы платить за ОПЕРАТИВНУЮ и ДОСТОВЕРНУЮ информацию, т.к. она помогает зарабатывать деньги.
     
  17. Hermes

    Hermes Активный участник

    11.635
    2
    Slavon
    Давайте рассмотрим такую ситуацию. Есть достаточно посещемый сервер, например opennet, на котором много инфы. По статистике у них 10-15 тыс посетителей в день. Я сижу на выделенке 512к. И тут вдруг я начинаю закачивать себе этот сайт, не ограничивая скорость закачки со своей стороны. Допустим, что найдется еще 1-2 человека в России, сидящие на выделенках и решившие закачать этот сайт.

    Я не специалист в данном вопросе, пускай нас знающие люди рассудят, но по-моему при таком раскладе сервак если не загнется, то тормозить будет точно.
     
  18. Hermes

    Hermes Активный участник

    11.635
    2
    Можно даже примерно посчитать

    Возьмем в среднем около 13000 посетителей в день
    это будет примерно 500 посетителей в час
    или примерно 10 посетителей в минуту

    смогут ли они нормально работать если параллельно с ними будут хотя бы пару человек выкачивать сайт по выделенке
     
  19. RubiN

    RubiN Активный участник

    6.629
    425
    Hermes, если ты думаешь что там стоит один комп и к нему идет всего один проводок, то ты ошибаешься. Крупные порталы, поисковики, хост-конторы и пр. используют кластерные решения, позволяющие обрабатывать большие объемы траффика.
     
  20. luka

    luka Активный участник

    704
    0
    Zombie, а за траффик нужно платить...
     
  21. Hermes

    Hermes Активный участник

    11.635
    2
    Zombie
    Не думаю.

    Вопрос на засыпку. Если защита от оффлайн браузеров не нужна, то зачем народ напрягается и делает ее все-таки? Причем защита, насколько я могу судить, работает по принципу - если с одного IP слишком часто идут запросы, показываем ему дулю. То есть, если настроить оффлайн-браузер так, чтобы он запрашивал странички с интервалом 2 секунды, например, то все счастливы и защита не включается. Я почему-то думаю, что серьезный портал не станет выкидывать деньги на написание бесполезных вещей.

    По-моему, на том же самом опеннете читал, что защита от скачивания оффлайн-браузерами стоит потомучто ети самые браузеры грузят серваки.

    По поводу поисковиков. Угадайте с 3-х раз, почему яндекс помимо www.yandex.ru поддерживает адрес www.ya.ru - без рекламы и баннеров? Хотя у яндекса запросы обрабатывают 11 нехилых серваков.

    Почему так аскетично смотрится страничка www.google.com.ru? Там тоже серваков немеряно (сколько правда, не помню).