Как отладить get-запрос?

[ffeniks]

Делаю get запрос на различные url. Далее проверяю пустой ли ответ и если ответ не пустой, то ищу нужное в ответе регуляркой. Запускаю потоков 5 и понимаю, что иногда один поток может выполнятся более 7-8 часов. (а по факту он максимум должен идти 25 секунд)

Трассировка показала, что это либо экшн (пустой ли ответ либо регулярка).
Я так понимаю, что иногда get запрос отдаёт очень большой формат данных и поэтому данные потоки забиваются.
(Притом что когда поток забит он начинает нереально грузить сервак)

Как решить?

 

[backoff]

1. в гет запросе установи исполнее запроса в секундах, я обычно ставлю 300сек
2. делай проверку на пустой гет, и на пустую регулярку
должно помочь

 

[ffeniks]

Я поставил 15 сек. + проверка на пустой гет идёт. (как раз иногда на этой проверке поток и забивается)
Не помогает.

 

[backoff]

тогда можно сделать проверку на количество символов в ответе гет запроса, если больше определенного количества, то пропускать....
и взять за основу например 200-400кб это вроде 200-400к символов

 

[ffeniks]

Вот это хорошая идея, спасибо, буду смотреть на C# на форуме есть ли такие сниппеты..