Парсер на 8 поисковиков и чекер cms social-кнопок ...

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Шаблон 1 - парсер поисковиков.
В действии участвуют: Aol, Ask, Bing, Dogpile, Google, Startpage, Yahoo, Yandex
Работает через браузер: одна вкладка - один поисковик. Можно одновременно по всем парсить.
Keywords list: список для ключей.
Page: до какой страници парсить.
Mouse Emulation: отключить - включить вождение курсором мыши по тайтлам выдачи. Без быстрее.

Результаты записываются в таблицу в 7 колонок.

Настройки
Снимок экрана (3).png




Шаблон 2 - парсит по собранным ссылкам из результатов первого парсера и может парсить из своего списка ссылок.
Запускать нужно в один поток, так как он реализован на parallelfore
Возможности.

1. Проверяет на 24 cms: woocommerce и bbpress выдаст если вордпресс не найдет.
WordPressWixUcozXenForoIPB
WooCommerceBloggerShopifyphpBBMyBB
BBPressTumblrMagentovBulletinDiscourse
JomlaJimdoOpenCartDiscuzVanilla
DrupalWeeblySMFBurning Board
TYPO3Squarespace
[TBODY] [/TBODY]
2. Проверяет есть ли кнопки от соцсетей на странице:
Facebook, GooglePlus, Twitter, LinkedIn

3. Проверяет есть ли CloudFlare

4. Собирает все заголовки H1 - H6 в оддельный лист таблици и дописывает в основной лист количетво найденных заголовков на странице.

5. Собирает ссылки на изображения в и альты в отдельный лист и дописывает в основной лист количество найденных изображений.

6. Собирает все внешние ссылки и анхоры в отдельный лист и дописывает в основной лист количество найденных ссылок follow nofollow.

7. Парсер сохраняет все страници в папку bufer. Можно потом что-то делать с ними.
В настройках нужно указать или таблицу из первого парсера или свой список ссылок.
Снимок экрана (2).png


В комплекте библиотеки HtmlAgilitypack и Epplus в папке с названием "Содержимое в ExternalAssemblies". Их нужно перенести в папку \Progs\ExternalAssemblies\.

И две таблици с результатами.
Таблица SERP - в результат первого парсера дописан результат из второго парсера.
Таблица From the list - парсинг по списку ссылок.
Работает на 5.17.2.0
 

Вложения

  • 1,5 МБ Просмотры: 480

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

AndreyAAA

Client
Регистрация
07.05.2016
Сообщения
879
Благодарностей
51
Баллы
28
А можно примерно что то о скорости рассказать?
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
А можно примерно что то о скорости рассказать?
Браузерный медленный. Второй 300 ссылок за 5-7 мин делает на двух ядрах через мейкер, в шабе в кубике http в начале в параллеле можно подкрутить потоки (забыл реализовать через настройки).
Шабы делались под чекинг закономерностей в топах по пулу запросов.
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
А какие именно кнопки?
Признаки из документаций соцсетей, атрибут name. в кубике xml все добро в формате xml, можно добавлять.
Код:
<social>
<sitename name = "Facebook">
  <regex name = "FB-page">fb(-|:)page</regex>
  <regex name = "FB-quote">fb(-|:)quote</regex>
  <regex name = "FB-save">fb(-|:)save</regex>
  <regex name = "FB-like">fb(-|:)like</regex>
  <regex name = "FB-video">fb(-|:)video|www\.facebook\.com(%2F|/)(facebook(%2F|/)videos(%2F|/)|video(%2F|/)embed\?video_id=)</regex>
  <regex name = "FB-share-button">fb(-|:)share-button</regex>
  <regex name = "FB-comments">fb((-|:)comments(-count|))</regex>
  <regex name = "FB-comment-embed">fb(-|:)comment-(embed|comment)</regex>
  <regex name = "FB-post">fb(-|:)post</regex>
  <regex name = "FB-login">FB\.(getLoginStatus|login)|fb(-|:)login-button</regex>
  <regex name = "FB-pixel">fbevents\.js|facebook\.com(%2F|/).*?PixelInitialized|&lt;!--(\s+End|)\s+Facebook\s+Pixel\s+Code\s--&gt;</regex>
</sitename>
<sitename name = "GooglePlus">
  <regex name = "GP-connect">googleapis\.com(%2F|/)auth(%2F|/)plus\.login|googleapis\.com(%2F|/)auth(%2F|/)userinfo\.profile|googleapis\.com(%2F|/)auth(%2F|/)userinfo\.email</regex>
  <regex name = "GP-plusone">apis\.google\.com(%2F|/)js(%2F|/)plusone\.js|(gapi\.|g:|g-)plusone</regex>
  <regex name = "GP-follow">(gapi\.|g:|g-)follow</regex>
</sitename>
<sitename name = "Twitter">
  <regex name = "TW-follow">twttr\.widgets(\.createFollowButton|)|twitter(\.com/intent/follow|-follow-button|\.com/widgets/follow_button)</regex>
  <regex name = "TW-embedded">twttr\.widgets\.createTweet|twitter-tweet</regex>
  <regex name = "TW-timeline">twttr\.widgets\.(createTimeline|createGridFromCollection)|twitter(-timeline|-grid|\.com/.*?/(lists|timelines)/|\.com/oembed\?url=)</regex>
  <regex name = "TW-moments">twttr\.widgets\.createMoment|twitter(-moment|\.com/i/moments/)</regex>
  <regex name = "TW-tweet">twttr\.widgets\.((createShare|createHashtag|createMention)Button)|twitter(((-share|-mention|-hashtag)-button)|\.com/intent/tweet\?text=)|/web/tweet-button</regex>
  <regex name = "TW-direct">twitter(-dm-button|\.com/messages/compose(\?recipient_id=|))</regex>
  <regex name = "TW-login">sign-in-with-twitter|api\.twitter\.com/oauth/authenticate\?oauth_token=</regex>
  <regex name = "TW-periscope">twttr\.widgets\.createPeriscopeOnAirButton|periscope-on-air</regex>
</sitename>
<sitename name = "LinkedIn">
  <regex name = "LI-share">type=&quot;IN/Share&quot;</regex>
  <regex name = "LI-login">type=&quot;IN/Login&quot;</regex>
  <regex name = "LI-share">type=&quot;IN/FollowCompany&quot;</regex>
</sitename>
</social>
 
  • Спасибо
Реакции: AndreyAAA

AndreyAAA

Client
Регистрация
07.05.2016
Сообщения
879
Благодарностей
51
Баллы
28
Попробовал запустить, но ошибка вышла, так же поле прокси не заполнял
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Попробовал запустить, но ошибка вышла, так же поле прокси не заполнял
System.Net подключен в шаблоне. какая версия зенки? какой шаблон?
В owncode если 28 строку закоментить - system.net.http
Все system.net.http если закомментить?
 
Последнее редактирование:

AndreyAAA

Client
Регистрация
07.05.2016
Сообщения
879
Благодарностей
51
Баллы
28
System.Net подключен в шаблоне. какая версия зенки? какой шаблон?
В owncode если 28 строку закоментить - system.net.http
Все system.net.http если закомментить?
Шаблон 2
Версия 5 22, последняя вроде
На счет остального я не знаю точно, так как не сталкивался

А сейчас тая ошибка вышла
 

ibred

Administrator
Команда форума
Регистрация
04.04.2015
Сообщения
3 222
Благодарностей
2 590
Баллы
113
Попробовал запустить, но ошибка вышла, так же поле прокси не заполнял
Содержимое папки "Содержимое в ExternalAssemblies" из архива перенесли в \Progs\ExternalAssemblies\, что в директории программы?
 
  • Спасибо
Реакции: SergSh

Sputnik

Client
Регистрация
23.08.2015
Сообщения
29
Благодарностей
9
Баллы
3
Круто конечно. В библиотеках еще не разбираюсь. А есть вариант без библиотек?
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Круто конечно. В библиотеках еще не разбираюсь. А есть вариант без библиотек?
Так там не нужно разбираться. Нужно закинуть их в специальную папку зеннопостера.
 

Sputnik

Client
Регистрация
23.08.2015
Сообщения
29
Благодарностей
9
Баллы
3
Чесно сказать этот кусок

Parallel.Invoke(
() =>
{
if(mouse){ SERP.MouseEmulator(project, instance, Site); }
},

() =>
{
if(tab1.IsBusy){tab1.WaitDownloading();}
serplist.AddRange(SERP.Parse(instance, Site, key, cpagi));
}
для меня китайская грамота
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
  • Спасибо
Реакции: Sputnik

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
106
Благодарностей
21
Баллы
18
А, если не секрет, зачем нужна информация о наличии кнопок соц.сетей на сайте? Через них можно что-то разослать?
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Т.е. при клике по кнопке они отдают логин/пароль аккаунта на который подвязаны?
там нужно будет подтверждать в доп окне свои действия.. если залогинен в акке сети
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
106
Благодарностей
21
Баллы
18
там нужно будет подтверждать в доп окне свои действия.. если залогинен в акке сети
Немного не понимаю, вот я залогинен допустим в twitter, кликаю на кнопку. Вылазит подтверждение что я хочу поделиться статьёй в своём твиттере. И, как мне это поможет нафармить аккаунтов?
А, или имеется ввиду наполнение/раскрутка аккаунтов своих?
 
  • Спасибо
Реакции: SergSh

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Немного не понимаю, вот я залогинен допустим в twitter, кликаю на кнопку. Вылазит подтверждение что я хочу поделиться статьёй в своём твиттере. И, как мне это поможет нафармить аккаунтов?
А, или имеется ввиду наполнение/раскрутка аккаунтов своих?
наполнение и раскрутка == фарминг)
 
  • Спасибо
Реакции: Ssmodey

Astraport

Client
Регистрация
01.05.2015
Сообщения
3 815
Благодарностей
2 809
Баллы
113
Пробую SERP.xmlz ExternalAssemblies добавил.
При шаблона открытии получаю:
2018-10-16_11-49-47.png


Добавил список с ключами.
При запуске шаблона получаю:
2018-10-16_11-51-50.png
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Только что запускал на 7 - без яндекса все робит).
В архиве немного обновленный шаб, теперь счетчик позиций в выдаче на второй третьей.. страницах не с единици начинается
 

Вложения

  • 57,8 КБ Просмотры: 147

Astraport

Client
Регистрация
01.05.2015
Сообщения
3 815
Благодарностей
2 809
Баллы
113
Результат отработки двух парсеров на 5.22.1.0
Да я верю, что у тебя все отлично работает. Можешь по кодам ошибок какие-нибудь версии предложить что именно проверить?
Кто-то ещё юзает шаблон? Или проверьте, там делов 2 минуты, скачать и любой ключ в текстовике задать.

Так то шаблон очень интересный, продвинутый аналог Лягушки. И под доры может зайти.
 

SergSh

Client
Регистрация
10.05.2017
Сообщения
478
Благодарностей
310
Баллы
63
Да я верю, что у тебя все отлично работает. Можешь по кодам ошибок какие-нибудь версии предложить что именно проверить?
Кто-то ещё юзает шаблон? Или проверьте, там делов 2 минуты, скачать и любой ключ в текстовике задать.

Так то шаблон очень интересный, продвинутый аналог Лягушки. И под доры может зайти.
Может не хватает сборок? я тестил на новом компе, новоскаченной зенке на двух версиях . библиотеки качал из этой ветки.
Или повреждения гдето в системе.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)