Парсер товаров

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18
Задача: написать парсер товаров для сайта demibaby.com.ua
Кратко говоря, через конструктор действий не получается вытягивать значения.
Пришла в голову след. мысль а, что если отрыть в zeno код страницы и искать нужны значения по тегам, типа: <h1 class="pr_name">Маечка и трусики детские</h1>
Столкнулся с тем, что view-source: не работает в zenno Возникает вопрос: а вообще возможен такой финт ушами?
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 362
Благодарностей
8 648
Баллы
113
Задача: написать парсер товаров для сайта demibaby.com.ua
Кратко говоря, через конструктор действий не получается вытягивать значения.
Пришла в голову след. мысль а, что если отрыть в zeno код страницы и искать нужны значения по тегам, типа: <h1 class="pr_name">Маечка и трусики детские</h1>
Столкнулся с тем, что view-source: не работает в zenno Возникает вопрос: а вообще возможен такой финт ушами?
через экшен Обработка текста, в режиме Regex выдергивать из макроса {-Page.Dom-} или {-Page.Source-} любые блоки информации..

upload_2016-4-14_0-12-30.png
 
  • Спасибо
Реакции: noble

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 362
Благодарностей
8 648
Баллы
113

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 703
Баллы
113
Увеличенные системные шрифты(
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 362
Благодарностей
8 648
Баллы
113

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

кто то еще пишет парсеры магазинов в браузере?
https://yadi.sk/i/gvCtO_N1qzL9f вот так должен выглядеть парсер магазина написанный за 10 минут
 
  • Спасибо
Реакции: noble

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 362
Благодарностей
8 648
Баллы
113
кто то еще пишет парсеры магазинов в браузере?
https://yadi.sk/i/gvCtO_N1qzL9f вот так должен выглядеть парсер магазина написанный за 10 минут
ну давайте начнем кидаться пёрьями из павлина хвоста.. :-)
человеку сначала освоить работу в браузере, а потом и до гет-запросов дойдет..
тем более особых различий нет, гет-запрос вместо перехода на урл в браузере..
 

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

человеку сначала освоить работу в браузере, а потом и до гет-запросов дойдет..
тем более особых различий нет, гет-запрос вместо перехода на урл в браузере..
еще как есть по мне парсер на запросах писать гораздо проще и быстрее так как не надо искать некакие элементы
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 362
Благодарностей
8 648
Баллы
113
еще как есть по мне парсер на запросах писать гораздо проще и быстрее так как не надо искать некакие элементы
но регулярки то все равно составлять надо, под поиск элементов..
 

ZennoScript

Moderator
Регистрация
04.03.2011
Сообщения
4 450
Благодарностей
1 880
Баллы
113
И кроме того в исходном коде не всегда есть всё, что нужно собрать.
Ну а пример выше - просто шикарен - бесконечные циклы + непонятно как вообще шаблон должен попасть на вторую часть шаблона...В общем видно, что за 10 минут собрано.
 
  • Спасибо
Реакции: Mr-Grey и Sergodjan

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18
  • Спасибо
Реакции: surrealmix

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18
через экшен Обработка текста, в режиме Regex выдергивать из макроса {-Page.Dom-} или {-Page.Source-} любые блоки информации..

Посмотреть вложение 12728
Если я вас правильно понят нужно загрузить нужную страницу в браузер и запустить экшен regex.
К примеру хочу взять заголовок h1 (Комплект Минни) cо старицы http://demibaby.com.ua/product/678/
regex у меня следующий: (?<=<h1\ class="pr_name">).*(?=</h1>)
макрос {-Page.Dom-} или {-Page.Source-}
куда положить задал
Результат пустая переменная. Что я делаю не так?
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 362
Благодарностей
8 648
Баллы
113
Если я вас правильно понят нужно загрузить нужную страницу в браузер и запустить экшен regex.
К примеру хочу взять заголовок h1 (Комплект Минни) cо старицы http://demibaby.com.ua/product/678/
regex у меня следующий: (?<=<h1\ class="pr_name">).*(?=</h1>)
макрос {-Page.Dom-} или {-Page.Source-}
куда положить задал
Результат пустая переменная. Что я делаю не так?
проверил с вашей регуляркой в конструкторе регулярок - все ок..
через шаблон - тоже все ок..

upload_2016-4-14_23-35-4.png


upload_2016-4-14_23-36-44.png
 
  • Спасибо
Реакции: noble

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

И кроме того в исходном коде не всегда есть всё, что нужно собрать.
Ну а пример выше - просто шикарен - бесконечные циклы + непонятно как вообще шаблон должен попасть на вторую часть шаблона...В общем видно, что за 10 минут собрано.
Зная количество страниц
парсим от site.ru/1 до site.ru/1576 ссылки на сами товары в список а потом второй частью берем строки из списка с удалением выпаршиваем то что нам надо в файл и когда список кончится шаблон закончит работу.
Там немного криво соеденины экшены поэтому не много не понятно :D
Я думаю что для разового сбора данных не нужно усложнять.
Но с удовольствием бы глянул и на вашу реализацию которая написана за 10 минут )
 

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18
Зная количество страниц
парсим от site.ru/1 до site.ru/1576 ссылки на сами товары в список а потом второй частью берем строки из списка с удалением выпаршиваем то что нам надо в файл и когда список кончится шаблон закончит работу.
Там немного криво соеденины экшены поэтому не много не понятно :D
Я думаю что для разового сбора данных не нужно усложнять.
Но с удовольствием бы глянул и на вашу реализацию которая написана за 10 минут )
Подскажите как при помощи Get запроса получить со старицы http://demibaby.com.ua/product/678/:
1 заголовок h1 - Комплект Минни
2 картинку http://demibaby.com.ua/product/5395f7639fdc0d7564e39a3e3ac0187a.jpg При сохранении имя картинки задать product/678/
 

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

1) (?<=<h1\ class="pr_name">).*(?=</h1>)


2) (?<=<img\ class="bigimg"\ src="\.\./\.\./).*(?="/>)
 

ZennoScript

Moderator
Регистрация
04.03.2011
Сообщения
4 450
Благодарностей
1 880
Баллы
113
Зная количество страниц
парсим от site.ru/1 до site.ru/1576 ссылки на сами товары в список а потом второй частью берем строки из списка с удалением выпаршиваем то что нам надо в файл и когда список кончится шаблон закончит работу.
Там немного криво соеденины экшены поэтому не много не понятно :D
Я думаю что для разового сбора данных не нужно усложнять.
Но с удовольствием бы глянул и на вашу реализацию которая написана за 10 минут )
Я не собираюсь тут ни с кем ничем меряться. Есть и поинтереснее задачи.
 
  • Спасибо
Реакции: Sergodjan

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18
проверил с вашей регуляркой в конструкторе регулярок - все ок..
через шаблон - тоже все ок..

Посмотреть вложение 12740

Посмотреть вложение 12741
Подскажите, пожалуйста, как содержимое списка перенести в таблицу при этом значение нужно увеличить на 50%? В операциях над списками не нашел такую функцию
 

ZennoScript

Moderator
Регистрация
04.03.2011
Сообщения
4 450
Благодарностей
1 880
Баллы
113
как указать пусть куда будет сохранена картинка (get запрос) и как ей задать имя (get запрос)?
Путь - перед выполнением Get запроса, можно указать папку, в которую будут грузиться файлы - Браузер - Настройки - Папка для загрузки файлов.
Имя - после того, как скачали файл - переместить его с новым именем. Файлы - Переместить.
По спискам - если нужно что то добавлять к содержимому строки - берите поочередно строку, обрабатывайте и добавляйте в таблицу и так до тех пор, пока в списке не закончатся строки.
 
  • Спасибо
Реакции: noble

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18
Путь - перед выполнением Get запроса, можно указать папку, в которую будут грузиться файлы - Браузер - Настройки - Папка для загрузки файлов.
Имя - после того, как скачали файл - переместить его с новым именем. Файлы - Переместить.
По спискам - если нужно что то добавлять к содержимому строки - берите поочередно строку, обрабатывайте и добавляйте в таблицу и так до тех пор, пока в списке не закончатся строки.
Чтобы увеличить значения в переменой (список из десяти строк) на 50% нужно использовать экшен: обработка переменных\установить значение {-Variable.sale-}*1.5 ?
 

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

Чтобы увеличить значения в переменой (список из десяти строк) на 50% нужно использовать экшен: обработка переменных\установить значение {-Variable.sale-}*1.5 ?
там вы можете увеличить значение только на какое то число 1 20 50 100
 

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

давайте я вам в скайпе на примере указаного выше шаблона обьясню что и как
 

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18

AloneSlamer

Client
Регистрация
29.01.2013
Сообщения
1 404
Благодарностей
362
Баллы
83

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с AloneSlamer какие-либо сделки.

noble

Пользователь
Регистрация
09.10.2014
Сообщения
162
Благодарностей
10
Баллы
18

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 221
Баллы
113

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)