Ну оптимистично так 30сек на запрос. Дальше уже от кол-ва потоков.
Пессимистично, Вы хотели сказать. Если странички легкие и присутствует нормальное интернет-соединение, то даже в 1 поток на это может потребоваться около часа-двух.
А, если речь идет о форуме, то чаще всего на них включен модуль кто онлайн, тогда вообще нет смысла перебирать всех.
Ляпнул не посчитав, аж неудобно как-то...
Вот, живой пример и расчет на его основе. Я api olx долблю в среднем со скоростью около 5-8 запросов в секунду, при этом парсится и обрабатывается довольно тяжелый json.
5*60 *60 = ~18000 запросов в час в один поток. На легких страничках скорость возрастет.
Дальше считайте сами - на запросах можно разогнать зенку так, чтобы положить средний по пропускной способности интернет канал раньше, чем закончатся ресурсы у старенького ноутбука. Таким образом, 100.000 урлов можно прочекать за считанные минуты или даже уложиться в нее
