Большие аппетиты памяти!

chazer24

Активный пользователь
Регистрация
26.03.2016
Сообщения
271
Благодарностей
49
Баллы
28
Господа, подскажите что это за процессы и почему они едят столько памяти? Запущено в зенке 10 потоков, 12 гб катастрофически мало.. Однако процессов FFinssnce всего несколько.. Как вы работаете по 50-100 потоков для меня загадка) И есть ли способы урезать память?

 

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

Есть.
Писать на запросах.
Отключать всякую херню типа js если возможно.
 
  • Спасибо
Реакции: chazer24

Yumza

Client
Регистрация
09.05.2015
Сообщения
24
Благодарностей
8
Баллы
3
Бывают процессы застревают. У меня такое было когда по ошибке в подключенном проекте перезагружал инстанс, видимо перезагружался новый связь со старым терялась и процесс застревал.

Еще, большое значение имеет количество вкладок в каждом инстансе, бывает ситуации когда они постоянно генерируются, тоесть клик по ссылке создает новую вкладку в которой новый клик и новая вкладка и так очень много раз. Можно вместо клика по ссылке с атрибутом target='_blanc' (который создает новую вкладку ) парсить адрес ссылки и вручную переходить. Но я себе поставил более универсальный метод удаляю все вкладки кроме текущей на определенном этапе.
 

Yumza

Client
Регистрация
09.05.2015
Сообщения
24
Благодарностей
8
Баллы
3
Иногда лучше запустить один поток для парсинга, сохранить все в список, таблицу. А уже другим потоком проходить по результатам и выполнять действия.
Лучше сохранять профиль пользователя и перезапускаться для разных задач, чем в одном шаблоне делать несколько последовательных задач которые заставляют увеличиваться память. Сложно отследить все причины увеличения а перегруз всегда помогает :-)
 

chazer24

Активный пользователь
Регистрация
26.03.2016
Сообщения
271
Благодарностей
49
Баллы
28
Иногда лучше запустить один поток для парсинга, сохранить все в список, таблицу. А уже другим потоком проходить по результатам и выполнять действия.
Лучше сохранять профиль пользователя и перезапускаться для разных задач, чем в одном шаблоне делать несколько последовательных задач которые заставляют увеличиваться память. Сложно отследить все причины увеличения а перегруз всегда помогает :-)
Со вкладками проблем не было, всегда в 1 всё работает. Шабы для парсинга тоже отдельные. Основной рабочий шаблон просто сильно жрет память, 20 поток забирает 12гб оперативы, хотя действий там выполняется по минимум, взять ссылку, пройти по ней, подписаться, занести в блек лист, пауза.. И так далее. JS к сожалению отключить нельзя, сайт без него не работает.
 

moRL

Client
Регистрация
18.07.2016
Сообщения
101
Благодарностей
70
Баллы
28
Со вкладками проблем не было, всегда в 1 всё работает. Шабы для парсинга тоже отдельные. Основной рабочий шаблон просто сильно жрет память, 20 поток забирает 12гб оперативы, хотя действий там выполняется по минимум, взять ссылку, пройти по ней, подписаться, занести в блек лист, пауза.. И так далее. JS к сожалению отключить нельзя, сайт без него не работает.
Попробуй в настройках во вкладке Настройки инстанса уменьшить "Максимальное кол-во памяти" и если используешь длинные циклы - периодически перезагружай инстанс.
 

DimaG

Client
Регистрация
24.02.2016
Сообщения
17
Благодарностей
0
Баллы
1
Попробуй в настройках во вкладке Настройки инстанса уменьшить "Максимальное кол-во памяти" и если используешь длинные циклы - периодически перезагружай инстанс.
глупый такой вопрос, а перезагрузка инстанса во время выполнения задачи допустима или собьется авторизация?
 

moRL

Client
Регистрация
18.07.2016
Сообщения
101
Благодарностей
70
Баллы
28
  • Спасибо
Реакции: DimaG

DimaG

Client
Регистрация
24.02.2016
Сообщения
17
Благодарностей
0
Баллы
1

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)