curl и его аппетит

ByMagnum

Client
Регистрация
28.07.2017
Сообщения
37
Благодарностей
6
Баллы
8
Всем доброго времени суток!

Заморачиваюсь многопотоком. Что имею:

16 поточную машину, 32 ОЗУ, 3,4 Мгц проц, curl.exe (8.5.0 - последняя), код пишу на c# почти, есть необходимость юзать стандартные кубики (для информации), создаю в c# параллель в 32 потока на один шаблон - работаем, все успешно, НО! Съедает такие операции 90% CPU на 32 параллели, у шарпа конечно есть свои вилы в области параллели, но тем не менее стартуем curl.exe внутри параллели, таким образом катаемся на тачке )

аргументация запуска curl.exe:

-vksSJLD - --proxy ХХХ -X GET "URL" --output "путь_записать_в_файл_бинарные_данные" --user-agent "агент" --header "Accept: тратата" --header "Accept-Charset: тратата" --header "Accept-Language: тратата"
Вот этот рецепт исключительно чтобы вернулся ответ в c# - есть необходимость строго отловить ответ и тем самым принять итоговое решение что писать, что не писать - половина дует в корзину, половина пишется. Остальные ключи - понятны.

Конечно понятно, что сам по себе curl кушать любит, причем у него аппетиты стремительно высокие... Но может кто сталкивался с данным - когда из многопотока на c# отдаем в curl команды и возникает такая нагрузка - может имеется рецепт хороший, было бы не плохо если кто подсказал куда с лопатой выходить и копать ;-)
 

ByMagnum

Client
Регистрация
28.07.2017
Сообщения
37
Благодарностей
6
Баллы
8
Спустя столько времени и кучу разных тестов - нашел все таки решение, нормального, адекватного поведения, маленькой нагрузки на процессор, адаптации всего кода (написано не сказать что мало и не сказать - много). Причем дружит нормально с cloudflare + все опции которые нужны, прокси - как свой представляется, потоков конечно эгегей сколько развернуть можно, конечно не перебарщивать - по понятным причинам.

Команде zennoposter - если требуется предоставить, может заюзают в билдах - мы были бы очень рады данному )
Соединил curl + zennoposter - получилась лютая конструкция.

Хотелось бы добавить команде zennoposter огромный респект, спасибо за данный продукт в целом - он решил нашу логику рабочего процесса в команде!
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 607
Благодарностей
4 600
Баллы
113
ну так а решение в чем состоит?
 
  • Спасибо
Реакции: BAZAg

ByMagnum

Client
Регистрация
28.07.2017
Сообщения
37
Благодарностей
6
Баллы
8
ну так а решение в чем состоит?
Соединил curl + zennoposter - получилась лютая конструкция.

Если нужен код - то тут тем на форуме по curl:
1. тык
2. тык
3. ...
4. по ключу поиска: cloudflare - примеры с curl
 

Dmitriy Ka

Client
Регистрация
03.05.2016
Сообщения
545
Благодарностей
301
Баллы
63
Есть вопросец, зачем использовать curl, вместо http request? В чем его преимущество?
 

ByMagnum

Client
Регистрация
28.07.2017
Сообщения
37
Благодарностей
6
Баллы
8
  • Спасибо
Реакции: Dmitriy Ka

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)