powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Вопросы по IT [закрыт для гостей] / Как можно ограничить доступ к контенту веб-сайта?
9 сообщений из 9, страница 1 из 1
Как можно ограничить доступ к контенту веб-сайта?
    #180003
cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гесты и игнорируемые идут по CSS
Мне нужно наоборот. Как обойти это ограничение?

Мне заказали грабление фоток с сайта.
Сразу говорю, что я был против, но слаб человек - уговорили.
Фигня вопрос, но владельцы этого сайта слишком трепетно относятся к контенту.
Не дают грабить. Причем в изощренной форме. Доступ остается, но скорость грабления снижается до примерно 32 Kbit/с.
Вроде у них Апач.
Как они это делают?
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #180058
kkk-jjj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зайди по дак-дак-го в анонимном режиме и скопипасть заголовки запроса - используй их для получения фоток. Запросы делай с разных айпишников, меняя заголовки. С одного айпишника не более сколько-то фоток. Айпишники - вести вручную - за ведение списка бери сервисную абонплату.
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #180078
cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гесты и игнорируемые идут по CSS
kkk-jjj [игнорируется] 

Если запускаю скрипт с локального сервера, то все нормально.
Да и работало все около месяца, пока они там защиту не поставили. Я так думаю. Что не меня конкретно ловили, а что-то хитрое придумали для таких хитрожопых.
Вот я и спрашиваю, как прикинутся ветошью.

А как делать запросы с разных IP? Через список прокси?
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #180280
eNose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
прикинься яндекс/гугл роботом, если это возможно
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #181909
kkk-jjj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я ж говорю - заголовки запроса должны быть такие же, как у обычного юзера из браузера дак-дак-гоу в режиме неведимки - обезличенные и похожи на юзера. Плюс пул айпишников должен быть - вдсок берёшь в аренду и через них проксируешь в случайном опрядке, потом отпускаешь. Посмотреть, какие заголовки по F12 можно. Твой запрос должен быть неотличим от запроса юзера. Ну или роботом попробуй - там так же, через заголовки надо.
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #181914
kkk-jjj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну или можно hide my ass vpn купить - там йпишники можно выбирать - но лучше своя сетка, если предъява за скачивание не придвидся.
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #182039
cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гесты и игнорируемые идут по CSS
kkk-jjj  12.10.2022, 12:06
[игнорируется]
Ну или роботом попробуй - там так же, через заголовки надо.
У меня робот и делает.

Ничего особо интересного про заголовки ЗАПРОСА не нашел, кроме того, что там можно домен и имя хоста подменить
Вот такой пример надыбал
Код: PHP
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
$hostname = 'meteo.infospace.ru';

$fp = fsockopen($hostname, 80, $errno, $errstr, 30);

if (!$fp) {//Вывод ошибки если соединение не удалось
    echo "$errstr ($errno)<br />\n";
} else {
    //Заголовки запроса
    $out = "GET / HTTP/1.1\r\n";

    $out .= "Host: {$hostname}\r\n";

    $out .= "Connection: Close\r\n\r\n";

    fwrite($fp, $out);

    while (!feof($fp)) {//Чтение результата
        echo fgets($fp, 128);
    }
    fclose($fp);
}
Правда еще не пробовал
...
Изменено: 12.10.2022, 13:45 - cat2
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #182081
kkk-jjj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нет. Там ещё надо указать, что ты бразуером юзаешь. Они так отличают браузеры. Все заголовки из браузера затянуть к себе, чтобы их антиграбельная система думала, что ты браузер.
...
Рейтинг: 0 / 0
Как можно ограничить доступ к контенту веб-сайта?
    #182084
kkk-jjj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вот, смотри, что там есть
Код: BASH
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
curl 'https://nosql.ru/' \
  -H 'authority: nosql.ru' \
  -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
  -H 'accept-language: ru,en;q=0.9' \
  -H 'cache-control: no-cache' \
  -H 'pragma: no-cache' \
  -H 'sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="100", "Yandex";v="22"' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'sec-ch-ua-platform: "Linux"' \
  -H 'sec-fetch-dest: document' \
  -H 'sec-fetch-mode: navigate' \
  -H 'sec-fetch-site: none' \
  -H 'sec-fetch-user: ?1' \
  -H 'upgrade-insecure-requests: 1' \
  -H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.143 YaBrowser/22.5.0.1879 (beta) Yowser/2.5 Safari/537.36' \
  --compressed
user-agent, всякая прочая хрень, accept.

Они видят, что у тебя user-agent не тот и понимают сразу, что ты не юзер нефига. Зачем упрощать жинь?
...
Изменено: 12.10.2022, 14:18 - kkk-jjj
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / Вопросы по IT [закрыт для гостей] / Как можно ограничить доступ к контенту веб-сайта?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Игнорируют тему (2): erbol , Владайка
Читали форум (1): Анонимы (1)
Пользователи онлайн (42): Анонимы (22), Неуловимый Джо, Разум вселенной, Green, Дед-Папыхтет, Antonariy, Гарыныч, Три нитки, serpstatbot bot, Yandex Bot, pashtetos1 1 мин., erbol 1 мин., basename 1 мин., prostozevs 1 мин., жЫвоглот 2 мин., anonymous 2 мин., sergey11 3 мин., Буся 3 мин., IT-Клоп 3 мин., Сталкер 5 мин., паразит 7 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]