Переход по пагинации и сбор ссылок

Seoandrii

Client
Регистрация
30.03.2020
Сообщения
29
Благодарностей
6
Баллы
3
Всем привет. Столкнулся с задачей, когда нужно "перебрать" пагинацию на сайте, и с каждой страницы пагинации спарсить все ссылки новостей. На сайте нет возможности "кликнуть" на следующую страницу, т.к. попросту не выводят эту кнопку.

Решение:
1. Создал некое подобие "цикла", в котором искусственно создаю URL пагинации путем добавления в URL числовой пагинации после каждого прохода. На скрине так:
74500




Вопросы:
1. Будет ли такое решение корректно работать в многопотоке? То есть если мы запустим 10 потоков, то как парсер в 10 потоке поймет, что предыдущие 9 потоков уже увеличили переменную counter на 1?
2. Может есть какое-то другое решение по "перебору" пагинации?


з.ы. Проект прикрепил. Навыков с C# нет, да и вообще это первый проект на Get-запросах.
 

Вложения

Seoandrii

Client
Регистрация
30.03.2020
Сообщения
29
Благодарностей
6
Баллы
3
  • Спасибо
Реакции: maakkss2018

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)