A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar

Парсер для сбора категорий сайтов из Cloudflare Radar



Rozetka - получение данных по API

Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.



Парсинг объявлений kufar.by

Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.



А также, обновлены следующие ресурсы:
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

ivan777

Client
Регистрация
10.12.2018
Сообщения
55
Благодарностей
17
Баллы
8
спасибо за отличный софт!
 

Alex101

Client
Регистрация
28.06.2018
Сообщения
180
Благодарностей
38
Баллы
28
Пользуюсь больше года. В самом начале было немного трудно привыкнуть к интерфейсу, но со временем все стало понятно. Поддержка на уровне, очень оперативно. Обновы постоянные. Много готовых модулей под разные задачи. Продуктом доволен.
 

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку


Улучшения

  • В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Основные улучшения от перевода данных парсеров на Node.js:
    • увеличение производительности в ~1.5 раза
    • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
  • Добавлены новые парсеры:
  • В
    HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
  • В
    SE::Google::Translate добавлены новые переменные:
    • $translit_orig - оригинальный текст транслитом
    • $translit_translated - переведенный текст транслитом
    • $variants.$i.text - список вариантов перевода оригинального текста
  • В
    SE::Bing обновлен список регионов и языков
  • В
    Social::Instagram:: Profile и
    Social::Instagram:: Post добавлена возможность собирать кол-во видеопросмотров
  • В
    SE::Yandex::Translate добавлена возможность отключать использование сессий
  • В
    Net::HTTP добавлена возможность указывать user-agent для Chrome
  • В парсере
    Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
  • В
    Rank::CMS добавлена поддержка нового apps.json и возможность использовать
    Net::HTTP
  • В
    Net::Whois обновлена поддержка всех зон
  • Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
    • "All" - использует все прокси выбранные для задании
    • конкретный проксичекер - использует его, даже если он не выбран в задании
  • Добавлена поддержка устаревших версий SSL
  • JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
  • JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
  • JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки
Исправления в связи с изменениями в выдаче
Исправления
  • В
    SE::Yandex исправлена работа Extra query string
  • Исправлено регулярное выражение в
    HTML::EmailExtractor для устранения ошибок в некоторых случаях
  • Исправлено поведение парсера
    SE::Google::KeywordPlanner при отсутствии результатов по запросу
  • Maps::Yandex исправлен и переведен на puppeteer
  • Исправлена ошибка в приоритетах выбора проксичекера
  • JS парсеры: исправлен follow_meta_refresh
  • API: исправлена работа параметра rawResults

 
  • Спасибо
Реакции: Alex101

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places

Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.



Парсер prom.ua

Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.



Скачивание картинок

В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare



Улучшения
  • В
    HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
  • Повышена производительность
    Shop::Yandex::Market
  • В
    Check::RosKomNadzor добавлена возможность выбирать источник для проверки
  • Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
  • В
    Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
  • В
    Rank::Ahrefs расширен перечень собираемых данных
  • В
    SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
  • Реализована возможность использовать прокси с одним IP:port, но с разными логинами
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
  • Исправлена ошибка в
    Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
  • В
    SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
  • В
    SE::Google::KeywordPlanner исправлена авторизация
  • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
  • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий


 
  • Спасибо
Реакции: apalon

ial1408

Client
Регистрация
26.07.2016
Сообщения
171
Благодарностей
16
Баллы
18
Всем доброго времени суток. Давно смотрю на эту программу и никак не могу понять зачем она нужна если есть зеннопостер. Это ни в коем случае не подкол, действительно хочу понять. То чувство когда понимаешь что тебе программа нужна, но не понимаешь зачем и как она заменит зенно. Наверное я на форуме не один такой.
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 287
Благодарностей
3 427
Баллы
113
Всем доброго времени суток. Давно смотрю на эту программу и никак не могу понять зачем она нужна если есть зеннопостер. Это ни в коем случае не подкол, действительно хочу понять. То чувство когда понимаешь что тебе программа нужна, но не понимаешь зачем и как она заменит зенно. Наверное я на форуме не один такой.
По сути это конкурент.
Говорят, в чём-то удобнее и быстрее. Но по функционалу в разы проще.
И для полноценной работы потребуются продвинутые знания JS.
 
  • Спасибо
Реакции: ial1408

John Wick jr.

Client
Регистрация
15.06.2019
Сообщения
36
Благодарностей
8
Баллы
8
подскажите, кто использует a-parser, прикрутили поддержку node js, casper js и т.п. давненько смотрел на этот софт, но отпугивала цена учитывая наличие content downloader'a.
 

ivan777

Client
Регистрация
10.12.2018
Сообщения
55
Благодарностей
17
Баллы
8
не очень ясно, что имеется ввиду шаблон парсера под гугл, т.к. их встроенных несколько
вот валидатор майлов у них пушка :az:https://a-parser.com/resources/144/
 

sls

Client
Регистрация
10.03.2020
Сообщения
4
Благодарностей
2
Баллы
3
Недавно перешёл на a-parser полностью всем доволен, удобно ставится на нужный сервер + доступ по вебу с любого устройства. У них же можно купить и нужное количество прокси. В общем, моим задачам под парсинг полностью соответствует. Отличный софт, всем рекомендую!
 

uuw

Client
Регистрация
04.06.2020
Сообщения
106
Благодарностей
31
Баллы
28
в основное впилили
как и Puppeter
 

uuw

Client
Регистрация
04.06.2020
Сообщения
106
Благодарностей
31
Баллы
28
зачем и как она заменит зенно
Не ты, а дядя и очень быстро и качественно за каждым чихом того же гугла в верстке и т.п. правит парсеры. По флагманским парсерам обычно менее суток на починку из опыта.
Если не пипец конечно как в мае прошлого года, когда передастию рекапчи перетрахнули.
Ну а по производительности, в 100 потоков парс гугла на средней паршивости компе с рекапчей на про кого нельзя говорить спокойно тянет.
ryzen 3600 с 32гигами озу.
Зенка - она ведь про другое.
 

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
Обновление документации и курс по заработку на PBN используя A-Parser

Обновленная документация

Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:
  • настройка и работа с Docker
  • новое API v2 для написания JS парсеров с использованием TypeScript
  • использование Chrome с прокси с помощью Puppeteer
  • взаимодействие с A-Parser через Redis API
  • использование Node.js модулей
Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/

Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113

 

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций

46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

Парсер Viber - сбор сообщений из публичных групп вайбер

В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.



Парсер корейского поисковика Daum.net

Еще один парсер поисковых систем, на этот раз корейской daum.net



Парсинг контактов организаций из ua-region.info

Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info




Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

artem1024

Client
Регистрация
30.11.2017
Сообщения
10
Благодарностей
3
Баллы
3
Безальтернативное решение для парсинга в интернете. Имеет огромное количество встроенных парсеров, позволяет создавать кастомные парсеры на javascript, работает на всех операционках и взаимодействует с любым другим софтом через апи. Продуктом очень доволен.
 

A-Parser Support

Активный пользователь
Регистрация
03.06.2013
Сообщения
213
Благодарностей
25
Баллы
28
1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок



Улучшения
  • Node.js обновлен до версии 15.14.0
  • Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера
    Util::ReCaptcha3
  • В
    SE::Yandex, а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
  • В
    Rank::MajesticSEO добавлен режим парсинга через Chrome
  • В
    SE::
    DuckDuckGo
    актуализированы языки и регионы
  • В
    SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
  • В
    SE::YouTube добавлен сбор ссылок на канал
  • Актуализирован список языков в
    DeepL::Translator
  • Теперь в
    SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
  • В
    Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен баг в
    HTML::LinkExtractor, из-за которого парсинг по запросу останавливался с ошибкой
  • В
    Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
  • Исправлена ошибка проверки прокси, если в пароле был символ "*"
  • Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
  • Исправлена логика проверки результатов в
    SE::Bing::Images
  • Исправлена работа XPath
  • Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
  • Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)