Парсер интернет-магазинов на OpenCart

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон открывает сайт, парсит название магазина, парсит все ссылки на категории в список.
После этого из каждой категории парсит ссылки на товары в список.
Далее открывает страницу каждого товара по очереди, проверяет загрузку, парсит название, бренд, цену, ссылки на изображения и доступные вариации (только формы select, checkbox и radio).
Ссылки на одинаковые товары удаляются во время парсинга.

Результаты сохраняются в папку Results в .csv таблицу в формате "Название; Бренд; Цена; Изображения; Опции"
Опции (вариации товара) сохраняются в формате "Название:значение1~значение2~значение3...". Например, "Size:Medium (+$12.00) ~Large (+$18.00) "
Для опций выделено 5 столбцов

Как пользоваться?

Во входных настройках указать ссылку на сайт.

Для работы через прокси, добавить их в файл proxy.txt
 
Категория
Парсинг
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
30.11.2020
Описание обновления
Увеличено время ожидания загрузки.
Добавлен пропуск товара, если страница не загружается

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

  • Спасибо
Реакции: zmike

zmike

Client
Регистрация
24.10.2019
Сообщения
120
Благодарностей
7
Баллы
18
Нужно ли мне запускать это в Zennoposter вместо Zenno Maker? Я работаю в ZennoPoster, и теперь он останавливается на этом этапе удаления повторяющихся продуктов, как показано на скриншоте.

 

zmike

Client
Регистрация
24.10.2019
Сообщения
120
Благодарностей
7
Баллы
18
Нужно ли мне определять URL-путь для текстового файла для сохранения продукта?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Нужно ли мне запускать это в Zennoposter вместо Zenno Maker? Я работаю в ZennoPoster, и теперь он останавливается на этом этапе удаления повторяющихся продуктов, как показано на скриншоте.
В ProjektMaker проект останавливается, потому что на этом кубике точка основа (красная точка). Её можно убрать, если нужно работать в PM.
В целом проект лучше запускать в ZennoPoster.

Нужно ли мне определять URL-путь для текстового файла для сохранения продукта?
Указать нужно только URL сайта во входных настройках или вставить его в переменную site_URL в ProjectMaker.
Результаты будут сохраняться в папку Results в таблицу .csv
 
  • Спасибо
Реакции: zmike

derner

Новичок
Регистрация
12.11.2019
Сообщения
27
Благодарностей
0
Баллы
1
Шаблон ещё актуален? У меня ни чего не парсит.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)