Парсинг изображений из Яндекс картинок

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Онегин

Client
Регистрация
18.05.2019
Сообщения
64
Благодарностей
6
Баллы
8

Онегин

Client
Регистрация
18.05.2019
Сообщения
64
Благодарностей
6
Баллы
8
Попробуйте в ProjectMaker запустить.
Если такая же ошибка будет, когда остановится на этом кубике, пришлите, что в переменной get_answer
В общем как всегда, я посыпался на моменте использования ProjectMakerа, не понимаю я как в нём всё настроить, куда запросы прописать, как изменить capmonster (у меня его нет) на рукаптчу и т.д..:dy:
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
В общем как всегда, я посыпался на моменте использования ProjectMakerа, не понимаю я как в нём всё настроить, куда запросы прописать, как изменить capmonster (у меня его нет) на рукаптчу и т.д..:dy:
Попробуйте вот этим шаблоном спарсить.
Если ошибка повторится - в папке Results сохранятся текстовые файлы с ответами на запросы.
Пришлите их потом сюда или в ЛС
 

Вложения

  • Спасибо
Реакции: Онегин

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
приветствую, скажите, а к функционалу можно еще прикрутить выбор размера в ручную, есть необходимость искать картинки по конкретному размеру?
 

igor23.84.84

Client
Регистрация
14.05.2019
Сообщения
32
Благодарностей
9
Баллы
8
Большое спасибо автору! Шаблон, то-что надо. Скачал, вписал поисковый запрос, запустил. Никаких проблем невозникло!!!
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
приветствую, скажите, а к функционалу можно еще прикрутить выбор размера в ручную, есть необходимость искать картинки по конкретному размеру?
Добрый день.
Имеете в виду в пикселях задавать размер конкретный?
В самом яндексе вроде как нет такого фильтра
 

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
Добрый день.
Имеете в виду в пикселях задавать размер конкретный?
В самом яндексе вроде как нет такого фильтра
Плохо( а можно как то сделать что бы шаблон подгонял под заданные размеры при сохранении. Например я в настройках ставлю 1600х1200 он мне в этом размере сохраняет
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Плохо( а можно как то сделать что бы шаблон подгонял под заданные размеры при сохранении. Например я в настройках ставлю 1600х1200 он мне в этом размере сохраняет
Это лучше отдельный шаблон написать или каким-нибудь софтом менять
 

oscar777

Client
Регистрация
27.12.2019
Сообщения
4
Благодарностей
2
Баллы
3
Здравствуйте. Подскажите пожалуйста как сделать, чтобы сохранялся в результатах название папки только запрос без ( _дата_время)
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Здравствуйте. Подскажите пожалуйста как сделать, чтобы сохранялся в результатах название папки только запрос без ( _дата_время)
Добрый день.
Вот здесь оставить только {-Variable.text-}

68953
 
  • Спасибо
Реакции: oscar777

Valiksim

Client
Регистрация
14.04.2012
Сообщения
1 340
Благодарностей
298
Баллы
83
Добрый день.
Имеете в виду в пикселях задавать размер конкретный?
В самом яндексе вроде как нет такого фильтра
Нет, думаю, имелось ввиду, чтобы он не парсил картинки меньше определённого количества киллобайт.
Сейчас парсятся картинки любого размера, но, картинки размером меньше 50кб, это миниатюры с спичечный коробок и даже меньше. Их бы отсеять на уровне парсинга, было бы круто
 

Denyer

Client
Регистрация
15.03.2018
Сообщения
21
Благодарностей
2
Баллы
3
70602


как это исправить?
 

Valiksim

Client
Регистрация
14.04.2012
Сообщения
1 340
Благодарностей
298
Баллы
83

Denyer

Client
Регистрация
15.03.2018
Сообщения
21
Благодарностей
2
Баллы
3
Обновил версию зеннопостера до последней
ошибка сменилась на эту,
70799

в инстанте так замерает
70800
 

Valiksim

Client
Регистрация
14.04.2012
Сообщения
1 340
Благодарностей
298
Баллы
83

AndyFox

Client
Регистрация
11.11.2020
Сообщения
3
Благодарностей
0
Баллы
1
Обновил версию зеннопостера до последней
ошибка сменилась на эту,
Посмотреть вложение 70799
в инстанте так замерает
Посмотреть вложение 70800
а покажите свои настройки шаблона. Просто у меня завелся с полоборота - скачал настроил запустил. И все работает нормально
 

lexx76

Client
Регистрация
03.03.2021
Сообщения
2
Благодарностей
0
Баллы
1
Здравствуйте!
Тоже что-то не получается загрузить. В чем может быть проблема?
 

Вложения

lexx76

Client
Регистрация
03.03.2021
Сообщения
2
Благодарностей
0
Баллы
1
Посмотрел по Инстансе, проходит по всем трем позициям, картинки не вытягивает, пишет, что не удалось спарсить ссылки на изображение, а парсинг изображений выполнен успешно, хотя никаких картинок не качнул:
BP10442960020 https://yadi.sk/i/KvkSKzAxksmzsg
BP10442960010
BP10652960020

Но если оставить настройки по дефолту, где прописана циферка 100 в "Сколько парсить?", начинает качать все подряд, то есть пытается выгрузить по 100 картинок по каждой позиции.
 
Последнее редактирование:

lotus1707

Client
Регистрация
08.01.2021
Сообщения
118
Благодарностей
4
Баллы
18
а что дает парсинг картинок? как заработать?
 

lotus1707

Client
Регистрация
08.01.2021
Сообщения
118
Благодарностей
4
Баллы
18
а что дает парсинг? заработать можно?
 

Mixis

Client
Регистрация
07.05.2020
Сообщения
67
Благодарностей
10
Баллы
8

lotus1707

Client
Регистрация
08.01.2021
Сообщения
118
Благодарностей
4
Баллы
18
Не знаю как кто применят, я на свой сайт добавляю, к каждой новости по запросу. Да иногда чушь парсит, но в основном норм.Посмотреть вложение 73210Посмотреть вложение 73211
можно подробней? это связано с РСЯ?если так, то парсить, значит скликивать?
 

Mixis

Client
Регистрация
07.05.2020
Сообщения
67
Благодарностей
10
Баллы
8
это связано с РСЯ
Ну какое РСЯ, разве не видно что это сайт с музыкой? Как-то не сложилось парсить на PHP c Last.fm. , хотя от туда можно брать любую инфу об исполнителе (кроме самой музыки).
 

SlavenTyz

Client
Регистрация
30.04.2018
Сообщения
1 013
Благодарностей
29
Баллы
48
Что то файлы с изображениями перестали сохраняться
 

antaresgold

Client
Регистрация
18.12.2018
Сообщения
5
Благодарностей
3
Баллы
3
Спасибо автору за шаблон!
Парсер работает Хорошо!

Только из-за того, что яндекс при каждой загрузке выдает разные варианты кода, шаблон парсит через раз, нужно в кубике "Парсим ссылки в список" исправить регулярку, вот вроде как получилась универсальная: "(?<=img_href\D+)https://.*?\b\w+\b(?="|&|\?)"

Еще, у меня наверное из-за медленных проксей, не успевает прогружаться страница, особенно когда необходимо проскролить страницу несколько раз! Вылетала ошибка "Не удалось спарсить ссылки на изображения"!
Я, в кубик "Проверяем наличие картинок", добавил задержку 1-3 сек.
И еще несколько кубиков, для ожидания прогрузки страницы!
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: Skybox

alex_mgn

Client
Регистрация
30.01.2021
Сообщения
45
Благодарностей
18
Баллы
8
Шаблон работает хорошо, когда стоит парсить 100 ссылок! Но когда ставлю меньше 100, то ничего не парсит. Уходит на "Не удалось спарсить ссылки на изображения"
Где капать?
 

AGAT

Активный пользователь
Регистрация
17.11.2018
Сообщения
134
Благодарностей
33
Баллы
28
Hitachi
приветствую, подскажи пожалуйста:
1. куда вводить ключ от сервиса капчи?
2. на скрине ошибка - из-за чего она может быть?
3.как настроить путь сохранения картинок и ссылок?

83136
 
Последнее редактирование:

ks1989

Пользователь
Регистрация
17.08.2016
Сообщения
76
Благодарностей
0
Баллы
6
не пойму, входных настроек нет в проекте?
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)