Нужен совет

russya

Client
Регистрация
08.07.2014
Сообщения
719
Благодарностей
77
Баллы
28
Всем привет! Пишу парсер по bing и столкнулся с проблемой, через 1-2 часа забивается вся оператива. Сейчас распишу логику своего шаблона, может посоветуете как увеличить скорость парсинга и меньше чтобы оперативы кушало.

Инстанс берет с папки пару тысяч путей до файлов, и рандомно к списку зенно привязывает 1 из файликов(txt) в них храняться ключи по 50к примерно в каждом.

Лочу список этот и беру от туда ключ с удалением. Потом прога отправляет 2 гет запроса на бинг и регулярками обрезает все что нужно(складываем это все в коллекцию). Потом создает txt файлик и туда ложит всю коллекцию по этому ключу.
Потом берет след. ключ и так по кругу. Было 100 кругов таких, потом и 50 ставил и 10 и 1 круг и все равно оператива забивается. Посоветуйте что можно сделать? И как улучшить шаблон? может от списков отказаться? и только с файлами работать? или как лучше?
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Может у тебя стоит для каждого выполнения выделенный процесс и инстансы просто не закрываются, оставаясь висеть в памяти?
 

russya

Client
Регистрация
08.07.2014
Сообщения
719
Благодарностей
77
Баллы
28

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
  • Спасибо
Реакции: russya

russya

Client
Регистрация
08.07.2014
Сообщения
719
Благодарностей
77
Баллы
28
С оперативкой вроде проблему решил, сделал чтобы не рандомный файл брался, а первый. Получается все потоки сейчас берут ключи с первого файла. Но суть в том, что когда запускаю больше 50 потоков, то скорость парсинга не увеличивается, а уменьшается. Может подскажите как можно оптимизировать шаблон для большей скорости парсинга?
 

Alexmd

Client
Регистрация
10.12.2018
Сообщения
1 021
Благодарностей
1 383
Баллы
113
не могу утверждать на 100%, но могу предположить, что надо с файлов переходить на бд. похожие вопросы уже поднимались на форуме
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)