Недавний контент braind

  1. B

    get-запросы не полностью получают контент

    да, api самый оптимальный вариант, придется его курить. мне в данном случае нужны названия магазинов, и парсить все страницы ради этого это слишком. Я планировал с одной страницы все взять, а так получается нужно еще 60 запросов делать... ну у них постраничная выдача, как правило все...
  2. B

    get-запросы не полностью получают контент

    Прочитай плиз внимательно первый пост, в чем у меня сложность. любой запрос в поиске выдает некую выдачу товаров, которых на первой странице 60+ штук Я не могу их через get-запрос получить. У тебя получается спарсить страницу гет-запросом так, чтобы в коде были видны все 60+ товаров?
  3. B

    get-запросы не полностью получают контент

    щелкаю по страницам
  4. B

    get-запросы не полностью получают контент

    любой запрос, например Mothers Day gifts в браузере у меня тоже все хорошо, вот get-запрос не отдает все товары
  5. B

    get-запросы не полностью получают контент

    не совсем понимаю. Основной запрос я посмотрел, он такой же как через гет Но при загрузке через браузер идет еще сотня запросов, подгружаются разные скрипты.
  6. B

    get-запросы не полностью получают контент

    собираю информацию из выдачи etsy.com недавно они что-то подкрутили и теперь выдача результатов поиска через get-запрос отдается не полностью. на странице выдачи должно быть 60+ товаров, а через get отдается 12-13 и остальные вот так <p class="wt-screen-reader-only">Loading...</p> через...
  7. B

    при выключенном браузере не используется нужный useragent

    Точно, спасибо! у меня стояло по умолчанию + галка использовать куки контейнер. Поставил "текущий профиль" и заработало
  8. B

    при выключенном браузере не используется нужный useragent

    помогите разобраться, нифига не пойму. Есть профиль, там указан последний UserAgent хрома (взят из браузера) Если я запускаю инстанс с включенной галкой "применить текущий профиль браузера" - все ок, сайту отправляется правильный юзерагент. Далее я выключаю браузер, опять же с включенной...
  9. B

    Структура для парсинга прокси

    Как мне это использовать то? Работает только первая строка. Если она задана, то собираются и IP и порт. Если первая строка пустая - ничего не собирается. Часто в одну регулярку сложно засунуть сбор и ip и порта
  10. B

    Структура для парсинга прокси

    продублировал тему в разделе ZennoPoster
  11. B

    Структура для парсинга прокси

    Не могу понять как эта штука работает) Создаю структуру, там есть Строка [Proxy] Строка [IP] Строка [Port] код на странице такой <td>161.35.70.249</td><td>1080</td> В каких случаях используется какая строка? Можно ли отдельно прописать регулярку для IP и отдельно для порта и потом их сложить...
  12. B

    Структура для парсинга прокси

    Не могу понять как эта штука работает) Создаю структуру, там есть Строка [Proxy] Строка [IP] Строка [Port] код на странице такой <td>161.35.70.249</td><td>1080</td> В каких случаях используется какая строка? Можно ли отдельно прописать регулярку для IP и отдельно для порта и потом их сложить...
  13. B

    Работа проксичекера

    Еще вопрос возник. Нахожу вручную страницу с проксями, например там 400 штук Добавляю как источник - загружается 40 штук Просто копирую список прокси в буфер и добавляю в чекер - либо 0, либо несколько штук добавляется Что я делаю не так? пример источника https://openproxy.space/list/r-dqzYLiuu
  14. B

    Работа проксичекера

    Супер, благодарю, я сам почему-то не заглядывал на эту вкладку
  15. B

    Работа проксичекера

    добавил в проксичекер несколько источников, суммарно 27 тыс прокси отключил очистку прокси по времени оставил на несколько часов прихожу - чекер проверил 200+ тыс проксей вопрос: что он проверял все это время? можно ли настроить, чтобы он проверил по 1 разу прокси в источниках и сказал что он...