Есть файндер - шаблон 1 - он один
Есть скрабер - шаблон 2 - их несколько (думаю штук 10-15) (не многопоток, он не подойдет, просто копии одного и того же шаблона, такая специфика задачи)
Принцип работы
Файндер находит ссылку и передает ее скраберам. Скрабер отрабатывает и переходит в режим ожидания для повторного приема и цикл повторяется.
Вопрос
Как лучше передавать ссылки от файндера к скраберам. В минуту около 200 ссылок (очень важна скорость работы).
Варианты
- записывать в список, табличку (лочить, и каждый раз чистить) первым шабом, читать вторыми шабами
- тоже самое, но в БД (знаю mysql, замечал что часть запросов при высоких нагрузках теряется, и с локами и без них)
- передавать ссылки глобальными переменными
- какой то еще, что не знаю.
Плиз подсказать что более правильно, с точки зрения скорости и целесообразности по ресурсам.
Спасибо
Есть скрабер - шаблон 2 - их несколько (думаю штук 10-15) (не многопоток, он не подойдет, просто копии одного и того же шаблона, такая специфика задачи)
Принцип работы
Файндер находит ссылку и передает ее скраберам. Скрабер отрабатывает и переходит в режим ожидания для повторного приема и цикл повторяется.
Вопрос
Как лучше передавать ссылки от файндера к скраберам. В минуту около 200 ссылок (очень важна скорость работы).
Варианты
- записывать в список, табличку (лочить, и каждый раз чистить) первым шабом, читать вторыми шабами
- тоже самое, но в БД (знаю mysql, замечал что часть запросов при высоких нагрузках теряется, и с локами и без них)
- передавать ссылки глобальными переменными
- какой то еще, что не знаю.
Плиз подсказать что более правильно, с точки зрения скорости и целесообразности по ресурсам.
Спасибо