Большая нагрузка на CPU при работе без эмуляции браузера

[Леший]

Коллеги, день добрый!
Столкнулся с такой ситуацией: простенький проект без эмуляции браузера (только get запросы), сжирает почти все ресурсы CPU ужЕ на 5-7 потоках. Понатыкал в проект несколько пауз, но это не спасло ситуацию. Значительно более грузные проекты работают потоков в 10-15, с эмуляцией и т.п. но нагружают проц всего на 30-50%.

Проект прикладываю, есть ощущение, что где-то допустил серьёзную ошибку, значительно влияющую на производительность. Посмотрите пожалуйста, может что посоветуете.

Логика проекта: забрать url из списка, get запросом получить контент, сложить в файл.
В настройках программы частоту перезапуска инстанса выкрутил на максимум.

Железо:
Проц - intel xeon E5450 (4х ядерник)
Оперативка - 8ГБ

 

[Sergodjan]

Коллеги, день добрый!
Столкнулся с такой ситуацией: простенький проект без эмуляции браузера (только get запросы), сжирает почти все ресурсы CPU ужЕ на 5-7 потоках. Понатыкал в проект несколько пауз, но это не спасло ситуацию. Значительно более грузные проекты работают потоков в 10-15, с эмуляцией и т.п. но нагружают проц всего на 30-50%.

Проект прикладываю, есть ощущение, что где-то допустил серьёзную ошибку, значительно влияющую на производительность. Посмотрите пожалуйста, может что посоветуете.

Логика проекта: забрать url из списка, get запросом получить контент, сложить в файл.
В настройках программы частоту перезапуска инстанса выкрутил на максимум.

Железо:
Проц - intel xeon E5450 (4х ядерник)
Оперативка - 8ГБ

оч. странно, недавно делал парсер на гет-запросе, крутил на старом одноядернике P4 с 2 гб памяти - на win xp в зеннобоксе 10 потоков крутилось, нагрузка была вполне себе небольшая, адекватная..

 

[Леший]

оч. странно, недавно делал парсер на гет-запросе, крутил на старом одноядернике P4 с 2 гб памяти - на win xp в зеннобоксе 10 потоков крутилось, нагрузка была вполне себе небольшая, адекватная..

Вот и меня смущает нагрузка, я думаю этот проект должен свободно потоков в 20 идти с нагрузкой на проц в 20-30%, а может и того менее.

 

[VladZen]

Если выполняется парсинг данных большого объем, то большая загрузка CPU вполне возможна.

 

[Леший]

Я был бы вам очень признателен, если вы краешком глаза взглянете на шаблон и успокоите меня, что при его написании я не допустил ошибок, влияющих на оптимизацию.
Спасибо!

 

[VladZen]

Я был бы вам очень признателен, если вы краешком глаза взглянете на шаблон и успокоите меня, что при его написании я не допустил ошибок, влияющих на оптимизацию.
Спасибо!

Ну вот смотрите какое у вас полотно парсится - и это лишь одна строка.