Массовая проверка "Яндекс Икс"

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон сокращает ссылку до полного домена, открывает страницу статистики для него.
Парсит с неё данные, записывает в строку таблицы:
  • Домен
  • Показатель ИКС
  • Общее количество оценок
  • Положительные оценки (4 или 5 звёзд)
  • Отрицательные оценки (1, 2 или 3 звезды)
  • Выбор пользователей (от 0 до 5, где 5 - знак получен)
  • Популярный сайт (от 0 до 5, где 5 - знак получен)
  • Защищенное соединение (Есть или Нет)
  • Турбо страницы (Есть или нет)

Как пользоваться?

Во входных настройках выбрать файл со ссылками на сайты или добавить эти ссылки в файл links.txt. Выбрать сервис для решения капчи.

Для работы через прокси, добавить их в файл proxy.txt

Результаты сохраняются в .csv файл с названием "Results_дата" в папку Results в формате "Домен; ИКС; Оценки; Положительные; Отрицательные; Выбор пользователей; Популярный сайт; Защищенное соединение; Турбо страницы"
 
Категория
Парсинг, SEO
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
10.09.2020
Описание обновления
Обновлено решение капчи

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Banivur

Client
Регистрация
28.07.2018
Сообщения
8
Благодарностей
0
Баллы
1
В шабе получаю ошибку ID 1412b611-cb64-4dab-ad14-e6de4b20a84d
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Banivur

Client
Регистрация
28.07.2018
Сообщения
8
Благодарностей
0
Баллы
1

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Добрый день, Hitachi. У меня та же проблема и та же ошибка - Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска (1412b611-cb64-4dab-ad14-e6de4b20a84d). Я перешел в ProjectMaker и попытался найти id ошибки (скажу откровенно что впервые в нем) - на скрине показывает где ошибка - https://prnt.sc/ue2d4a
Прошу подсказать или помочь решить данную ошибку. Очень хочу воспользоваться Вашим шаблоном и прошу помочь в данной проблеме.
Заранее спасибо.
С уважением ДМитрий
 

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Hitachi, еще хотел добавить. Мне нужно только проверка на ИКС, все остальные параметры не нужны. Возможно это упростит решение проблемы. Можете убрать проверку остальных параметров и оставить только ИКС, и выложить такой упрощенный шаблон? Если надо, готов заплатить копеечку.
С уважением Дмитрий
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Добрый день, Hitachi. У меня та же проблема и та же ошибка - Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска (1412b611-cb64-4dab-ad14-e6de4b20a84d). Я перешел в ProjectMaker и попытался найти id ошибки (скажу откровенно что впервые в нем) - на скрине показывает где ошибка - https://prnt.sc/ue2d4a
Прошу подсказать или помочь решить данную ошибку. Очень хочу воспользоваться Вашим шаблоном и прошу помочь в данной проблеме.
Заранее спасибо.
С уважением ДМитрий
Добрый день.
Скорее всего проблема в том, что страница не успевает прогрузиться.
Увеличил паузы, добавил несколько попыток проверить загрузку.
Попробуйте обновлённый шаблон запустить
 

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Hitachi, я сейчас ошибка ушла. Видимо проблема была именно в этом. Спасибо за оперативную помощь.
Подскажите, если у меня не хочет парсить домены: https://prnt.sc/ue60qs
Это может быть связано с тем что я нахожусь территориально в Украине? Прокси поставил Россия, выкачанные из ProxyChecker.
И еще вопрос, как сделать так чтоб проверка была только на ИКС, а остальные параметры убрать, чтоб сократить количество запросов и быстрее делать проверку? То есть урезать функционал проверки для ускорения процесса? Хотя сейчас сделал тест на ТОП сайтах и все проверило)))) - https://prnt.sc/ue6xt0
 
Последнее редактирование модератором:

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Hitachi, я сейчас ошибка ушла. Видимо проблема была именно в этом. Спасибо за оперативную помощь.
Подскажите, если у меня не хочет парсить домены: https://prnt.sc/ue60qs
Это может быть связано с тем что я нахожусь территориально в Украине? Прокси поставил Россия, выкачанные из ProxyChecker.
И еще вопрос, как сделать так чтоб проверка была только на ИКС, а остальные параметры убрать, чтоб сократить количество запросов и быстрее делать проверку? То есть урезать функционал проверки для ускорения процесса?
Похоже, прокси нерабочие или очень медленные.
В инстансе вообще что-то отображается при работе шаблона?
 
Последнее редактирование модератором:

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Похоже, прокси нерабочие или очень медленные.
В инстансе вообще что-то отображается при работе шаблона?
В инстансе ничего не отображается.
Может быть проблема и в прокси. Подскажите какие лучше покупать для парсинга?
Пока у меня не удается спарсить.
И еще вопрос - если скоратить работу шаблона до парсинга только ИКС - парсинг быстрее будет происходить? Или время то же будет затрачено?
 
Последнее редактирование:

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Тогда нужно либо приватные прокси использовать, либо вообще без прокси.
Список прокси можно оставить пустым
Без прокси как и ожидалось идет блокировка Яндекса - https://prnt.sc/ue7db6
С прокси инста выглядит так - https://prnt.sc/ue7g9g
Но все равно не парсит. Попробую подключить прокси
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Без прокси как и ожидалось идет блокировка Яндекса - https://prnt.sc/ue7db6
С прокси инста выглядит так - https://prnt.sc/ue7g9g
Но все равно не парсит. Попробую подключить прокси
А, точно, без прокси же не открывается он.

Тогда нужно использовать приватные прокси, рабочие
 

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Hitachi, извините что Вас отвлекаю. Понимаю что Вы и так много сделали что создали шаблон.
Но у меня все равно не получается спарсить:
Вот мои настройки:
инста - https://prnt.sc/ue8ass
links - https://prnt.sc/ue8b5s
proxy - https://prnt.sc/ue8bm9
proxy купил - IPV4 приватные
все равно не парсит данные - https://prnt.sc/ue8cal
Прошу подсказать что я делаю не так.
Заранее спасибо.
С уважением ДМитрий
 
Последнее редактирование модератором:

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Hitachi, извините что Вас отвлекаю. Понимаю что Вы и так много сделали что создали шаблон.
Но у меня все равно не получается спарсить:
Вот мои настройки:
инста - https://prnt.sc/ue8ass
links - https://prnt.sc/ue8b5s
proxy - https://prnt.sc/ue8bm9
proxy купил - IPV4 приватные
все равно не парсит данные - https://prnt.sc/ue8cal
Прошу подсказать что я делаю не так.
Заранее спасибо.
С уважением ДМитрий
Попробуйте выставить Прокси: не использовать для начала.

63210


И ещё возможно формат прокси неправильный, там может быть авторизация через логин пароль.
В таком случае нужно будет указывать в формате login:password@ip:port или protocol://login:password@ip:port для socks прокси
 

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Я писал ранее что если прокси не использовать - не срабатывает. Попробую поколдовать с форматом, так как прокси с логином и паролем.
Спасибо!
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Я писал ранее что если прокси не использовать - не срабатывает. Попробую поколдовать с форматом, так как прокси с логином и паролем.
Спасибо!
В шаблоне прокси берутся из файла, эта настройка в ZP не влияет на получение. В принципе можно и оставить "Использовать", если Вы шаблон не меняли.
Скорее всего дело именно в формате прокси купленного
 

pchelkin

Client
Регистрация
08.09.2020
Сообщения
8
Благодарностей
0
Баллы
1
Все получилось! Огромное Вам спасибо!
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)