Помогите разбить шаблон на части

keytri

Client
Регистрация
28.08.2011
Сообщения
157
Благодарностей
10
Баллы
18
Работаю с гуглом.Есть 2 файла: ключи и локации.Шаблон берет ключ и локацию нажимает искать забирает данные т все.
Делал в цикле,жрет много памяти.Посоветовали сделать несколько шаблонов, один долгоиграющий, который обрабатывает данные и несколько коротких, которые бы запускались основным шаблоном.

Поскажите как это правильно сделать?
Никогда не делал проэкт в проэкте

Заранее спасибо
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
а в чем суть шаблона? парсер? циклы внутри? долго работает?
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113

keytri

Client
Регистрация
28.08.2011
Сообщения
157
Благодарностей
10
Баллы
18
Парсер:
Все просто: Есть 2 файла: ключи и локации.Шаблон берет ключ и локацию нажимает искать забирает данные первые 100 ссылок.

3500 ключей и 6000 локаций и все это в много потоков))

По времени чтоб пройтись по всем ключам и одной локации получалось 24-36 часов.

Можете тестовый пример показать?
 

keytri

Client
Регистрация
28.08.2011
Сообщения
157
Благодарностей
10
Баллы
18
Даже наверное больше интересует как запустить несколько коротких.Как это выглядит?
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
ну как вариант:
- в начале проекта брать ключ с удалением.
потом в рамках 1 выполнения шаблона реализовывать цикл прохода по ключу + все локации. каждые 20 выполнений цикла делать перезагрузку инстанса экшеном Браузер - Настройки
ну и запускать в многопотоке это дело)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)