Скачивание больших объемов

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
Подскажите нужно скачать очень много файлов большого объема, и файлы с одинаковым названием, по этому нужно менять название файла, гет запросом получается нужно качать по одному файлу это медленно, wget вообще не заработал требует ssl сертификат, как это решить я хз. Да и если в wget закидывать нужно что бы бы он качал не все сразу а по очереди скажем файлов по 10 например, а я так понимаю это не сделать. какие есть варианты?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113
Подскажите нужно скачать очень много файлов большого объема, и файлы с одинаковым названием, по этому нужно менять название файла, гет запросом получается нужно качать по одному файлу это медленно, wget вообще не заработал требует ssl сертификат, как это решить я хз. Да и если в wget закидывать нужно что бы бы он качал не все сразу а по очереди скажем файлов по 10 например, а я так понимаю это не сделать. какие есть варианты?
ищите на форуме по ключевым словам. параллельное выполнение get запросов. точнее не помню. там в одном кубике создают несколько паралельных веток кода где одновременно идет парсинг get запросами
 

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
var vkUrls = project.Lists["VkUrlList"]; //название списка
int potoki = 10;//количество потоков
int c = vkUrls.Count;
Parallel.For(0, c, new ParallelOptions { MaxDegreeOfParallelism = potoki }, x =>
{
string url = string.Empty;
lock(SyncObjects.ListSyncer)
{
url = vkUrls[0];
vkUrls.RemoveAt(0);
}
string res = string.Empty;
for(int i = 0; i < 3; i++)
{

res = ZennoPoster.HttpGet(
url,
"",//proxy
"UTF-8",
ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.HeaderAndBody,
50000,
"",
project.Profile.UserAgent,
true,
3
);


if(!string.IsNullOrEmpty(res))
{
break;
}


}
});

Речь об этом коде я как понимаю?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113
Так ну допустим оно скачает файлы, но вот как мне сохранять их под другими именами?
при скачивании гет запрос должен вернуть путь файла скаченного , просто переместить файл из этого пути по своему сформированному.
 

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
при скачивании гет запрос должен вернуть путь файла скаченного , просто переместить файл из этого пути по своему сформированному.
Ну и опять же это все на C надо . а с этим трудности...
 

bad robot

Client
Регистрация
07.03.2011
Сообщения
174
Благодарностей
26
Баллы
28
многопоток + скачивание по одному файлу + переименование = не подходит?
 

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
В идеале конечно сформировать скисок файлов и список путей для сохранения файлов и скормить какой то проге которая автоматом все качьнет, там просто терабайты и 25000 файлов
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)