A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google



В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

Помимо этого парсер
SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

Улучшения
  • Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
  • В парсере
    Net::HTTP не передаются пустые хедеры
  • В парсере
    SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата
Исправления в связи с изменениями в выдачи
  • SE::Yandex,
    SE::AOL
Исправления
  • В парсере
    SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
  • Net::Whois не корректно работал с зоной .tr
  • В парсере
    SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
  • В парсере
    SE::Yandex не сохранились сессии при использовании аккаунтов
 

nit_off

Client
Регистрация
07.12.2012
Сообщения
20
Благодарностей
1
Баллы
3
Использую данный софт очень давно, в начале покупал для подбора дропов и экономии времени.
Теперь все задачи по парсингу отправляю в а-парсер.
Огромные плюсы для меня запускается на любых впс(беру на бесплатный тест)
и отличная поддержка как техническая так и в плане актуальности всех парсеров.
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18

zazhigin

Client
Регистрация
30.06.2015
Сообщения
1
Благодарностей
2
Баллы
1
Отличный софт. За 10 минут спарсил 100к ссылок по моим запросам. Под мои нужды самое лучшее решение.
 
  • Спасибо
Реакции: Mr.Slim и A-Parser Support

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов



Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:
  • уменьшение потребления памяти
  • больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков
Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

Улучшения
  • Все парсеры позиций в поисковых системах(
    SE::Google::Position,
    SE::Yandex::Position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
  • Для парсера
    SE::Yandex добавлена возможность указать язык результатов поиска
Исправления в связи с изменениями в выдаче
  • SE::Google,
    SE::Yandex,
    SE::DuckDuckGo,
    SE::Yandex::Direct::Frequency
Исправления
  • В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере
    SE::Yandex::Direct::Frequency
  • Очистка очереди заданий работала некорректно
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.


Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.


Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова :-)


Кроме этого:


Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов


В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах
Net::HTTP,
HTML::LinkExtractor и
HTML::TextExtractor

В конструкторах запросов улучшена логика при разделении запроса на части

Исправления в связи с изменениями в выдачи
  • SE::Yandex - пропускались некоторые ссылки
  • SE::MailRu,
    SE::Baidu
Исправления
  • Исправлена поддержка тега meta http-equiv в парсере
    Net::HTTP
  • Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
  • В парсере
    SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
  • Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
Доброго времени суток, друзья!


Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:





Давайте более подробно рассмотрим нововведения:

  • теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
  • API будет дорабатываться и пополняться полезными возможностями
  • для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
  • ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий


Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!

Благодарим вас за использование A-Parser:az:
 

Andrew Shell

Client
Регистрация
24.11.2016
Сообщения
29
Благодарностей
10
Баллы
3
Постоянно ведется разработка новых функций, добавление новых парсеров и исправление ошибок, убедится в этом можно на странице http://a-parser.com/projects/a-parser/news

https://a-parser.com/projects/a-parser/news
A-Parser - парсер для профессионалов SEO - Ошибка
Запрашиваемая страница не найдена.
 

Forbidden

Новичок
Регистрация
21.01.2013
Сообщения
20
Благодарностей
10
Баллы
3
  • Спасибо
Реакции: Andrew Shell

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
Всем привет!

Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.

Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/




Всем профитной недели и приятной работы в месте с A-Parser!
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
Дорогие друзья!





Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX


Не упустите этот момент, возможно розыгрыш произойдёт только один раз :-)


С любовью, команда A-Parser!
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
1.1.712 - новогодняя юбилейная 100-ая версия, JavaScript парсеры





Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже


Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.


Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)





A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!


Улучшения

  • JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
  • JS парсеры: возможность получить и установить Cookies
  • JS парсеры: мютекс для синхронизации между потоками
  • JS парсеры: возможность использования инструментов tools
  • JS парсеры: поддержка запросов к другим парсерам
  • Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
  • В парсере
    HTML::TextExtractor будут игнорироваться блоки меню без текста
  • В парсере
    SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам
  • API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
  • API: при выставленном флаге rawResults будут передаваться все доступные результаты
  • Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
  • Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
  • Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог

Исправления в связи с изменениями в выдачи


  • В парсере
    SE::YouTube не собиралась выдача
  • В парсере
    SE::Bing не парсилось количество результатов для новостей
  • В парсере
    SE::Google не собирались рекламные блоки
  • В парсере
    SE::Yandex некоторые позиции в выдаче могли пропускаться
  • В парсере
    SE::Yandex::Register исправлена обработка ошибок регистрации


[*]Исправления

  • Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
  • В парсере
    SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси
  • В парсере
    Net::HTTP не корректно работала опция Check next page при редиректе на другой URL
  • Исправлена проблема с работой
    [noparse]Net::DNS[/noparse] на ОС Linux x64
  • Исправлен вывод ошибок в логе при уникализации "не доменов"
  • Исправлена работа парсера
    HTML::TextExtractor::LangDetect
  • Исправлен парсер
    Check::BackLink, ошибка появилась в предыдущей версии
  • Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии



Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!
 

asusa651

Client
Регистрация
18.03.2015
Сообщения
33
Благодарностей
0
Баллы
6
Доброго время суток, интересует отдельна услуга по парсеру статей, всего ключей будет 1863, разбиты на 11 категорий

1. Парсер статей по ключевым запросам
2. Парсить на 1 ключ по 30 статей
3. Если идет картинка в статье то копировать урл картинки для этой статьи
4. Определять и не парсить тексты с доров
5. Оставлять только нужные теги <p><div><strong><H1> и так далее.. Остальное удалять
6. Статьи парсить только от 2500 знаков б/п
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
Доброго времени суток друзья! Команда A-Parser поздравляет вас с наступившим 2017 годом и наступающим Рождеством.


Не забывайте о нашем розыгрыше https://vk.cc/5YBNVX/. Мы разыграем сегодня 3 лицензии на A-Parser общей стоимостью $437. Результаты розыгрыша после 17:00 по Москве. Более подробную информацию смотрите по ссылке которая указана выше.

 

one

Client
Регистрация
22.09.2015
Сообщения
5 240
Благодарностей
878
Баллы
113

bumer

Client
Регистрация
15.03.2015
Сообщения
220
Благодарностей
79
Баллы
28
а как то онлайн просмотреть можно будет как выбираться будут победители? Слеш убери
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
1.1.726 - новые возможности планировщика, множество исправлений





Улучшения


  • В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  • В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  • Файл логов задания теперь удаляется одновременно с удалением задания
  • В тестовом парсинге улучшен дебагер и предпросмотр HTML кода


Исправления в связи с изменениями в выдачи

  • SE::YouTube,
    Rank::DMOZ,
    Rank::Mustat,
    SE::Dogpile,
    SE::Ask,
    SE::AOL


Исправления


  • В парсере
    Net::Whois исправлен парсинг дат для множества доменных зон
  • Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  • Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  • Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  • В некоторых случаях использование XPath могло приводить к зависанию парсера
  • В парсере
    SEO::Ping исправлена обработка ответов для некоторых сервисов
  • В некоторых случаях ошибка задания могла отображаться некорректно


Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!


 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:





В уроке рассмотрены:

  • Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
  • Использование регулярных выражений для фильтрации данных результата
  • Использование конструктора результатов для модификации результатов
  • Использование Cookies в запросах


Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах





В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)


Улучшения

  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  • В парсере
    SE::Yahoo теперь определяется бан прокси по IP
  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

Исправления в связи с изменениями в выдаче

  • SE::Yandex - парсил только первую страницу выдачи
  • SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

Исправления

  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  • В парсере
    HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

Исправления в JavaScript парсерах

  • Настройки checkbox воспринимались некорректно
  • Исправлена ошибка в работе this.cookies.setAll
  • В интерфейсе не отображались измененные параметры конфига
  • Исправлены утечки памяти
  • Исправлено игнорирование параметра success
  • Исправлено поведение при использовании Override настроек
  • Исправлена ошибка при получении результатов из другого парсера
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing





Улучшения

  • В парсер
    SE::Bing добавлена возможность выбора языка результатов поиска
  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)
  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  • В парсере
    SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи


Исправления в связи с изменениями в выдачи

  • SE::Google - исправлена работа с антигейтом
  • В парсере
    SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
  • В парсере
    SE::Yandex исправлен сбор сниппетов
  • SE::AOL,
    SE::Bing::Images


Исправления


  • Исправлена утечка памяти при использовании логов в задании
  • В парсере
    SE::Ask не определялся бан прокси
  • Исправлена работа опции allow_outside_files
  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным
 
  • Спасибо
Реакции: alekwuy

SadisT_UA

Client
Регистрация
14.12.2012
Сообщения
36
Благодарностей
6
Баллы
8
Спасибо большое автору за данный инструмент! В паре вместе с зенкой отлично работает, скорость парсинга ссылок и контента для доров просто зашкаливает :-) Так же очень радует, что парсер постоянно обновляется и поддержка на высоте.
 
  • Спасибо
Реакции: A-Parser Support

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
Спасибо большое автору за данный инструмент! В паре вместе с зенкой отлично работает, скорость парсинга ссылок и контента для доров просто зашкаливает :-) Так же очень радует, что парсер постоянно обновляется и поддержка на высоте.
Спасибо большое за ваш отзыв :-)
 
  • Спасибо
Реакции: SadisT_UA

Biohazard

Client
Регистрация
07.05.2015
Сообщения
26
Благодарностей
0
Баллы
1
Не удержусь если тоже не оставлю свой отзыв ))
По скорости, гибкости настроек, стабильности это один из крутейших парсеров.
Софтинка трудится сутками и полностью себя оправдывает по функционалу.
Маст хэв!
 

d4k

Client
Регистрация
24.12.2014
Сообщения
18
Благодарностей
2
Баллы
3
Купил A-Parser, быстро разобрался в настройках все подробно и понятно описанно в доках. Шустро работает - сколько парсеров перепробывал принял решение: останусь на A-Parserе. Данному продукту нет равных и аналогов не видел. Денег своих стоит, да и окупить можно с полна если руки прямые и из плечей растут.
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18



A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:





Улучшения

  • Новый экспорт заданий
  • В JavaScript парсерах добавлена возможность указать иконку парсера
  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  • Добавлено автоматическое версионирование JavaScript парсеров
  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  • В JavaScript парсерах добавлен функционал управления прокси
  • В парсере
    Check::BackLink улучшена обработка nofollow

Исправления в связи с изменениями в выдачи

  • SE::DuckDuckGo,
    SE::Ask,
    SE::AOL,
    Rank::MajesticSEO
  • SE::Bing не парсил при указании региона
  • Парсер
    SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи

Исправления

  • В парсере
    SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  • В парсере
    SE::Bing в серп могли попадать рекламные блоки
  • В парсере
    Net::Whois собиралась дата для некоторых доменов
  • В JavaScript парсерах исправлен вывод ошибок в коде
  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики
 

Red_Comet

Client
Регистрация
24.01.2014
Сообщения
37
Благодарностей
14
Баллы
8
Небольшой отзыв-обзор для тех, кто не совсем понимает, в чем основные отличия между Зеннопостером (ЗА) и А-Парсером (АП), с любительской точки зрения. И думает, брать или нет. (я, когда купил оба софта, тоже не особенно понимал, зачем я это сделал :-))

Буду писать совсем по-тупому и по-простому, чтоб все вместилось. В ЗП ты "записываешь" свои действия, и на автомате повторяешь. Это может быть запрос к поисковику с последующим сохранением данных (парсинг), работа с файлами на локальном/удаленном компьютере (скопировали, наполнили,...), и т.д.

В АП ты выбираешь один из "источников", откуда ты будешь дергать контент, и настраиваешь соответсвующий парсер. Это может быть парсер гугла, youtube, и т.д. из 64 готовых парсеров. Плюс Net:HTTP, на основе которого можно создать парсинг практически с любой ссылки.

Теперь ключевой момент. Если хочется создать парсер в ЗП, который уже включен в АП, это будет лишний геморрой на голову (нужно создать, оттестировать, регулярно обновлять свой созданный парсер в ЗП + еще какие то моменты, о которых мне неизвестно). В АП же это на 1 раз настроить и идти гулять. Плюс регулярные обновления. Это про 64 готовых.

С Net:HTTP посложнее, поскольку надо соображать в Regex, но в теории - где что то дают, можно собирать (парсить). У АП огромная скорость, только успевай подавать на вход живые прокси (для поисковиков) или предоставь достаточный канал в интернет.

А-Парсер - это как огроменный проект ЗП, заточенный под объемный парсинг всего живого и неживого на большой скорости. С большей долей вероятности скоростные характеристики АП превысят любые проекты, созданные новичками и любителями в ЗП (возможно, и профессионалами, но у меня нет навыков, чтобы утверждать о подобном). Т.е. оптимально использование парсера, если постоянно возникает потребность в парсинге данных и нет желания и/или времени создавать и поддерживать свои проекты в ЗП.

Освоиться в Зеннопостере по-проще, но разобраться во всех мельчайших подробностях - сложнее (личное мнение). Если отбросить пользовательский контент, в ЗП надо создавать все проекты с нуля, в АП уже есть пачка готовых решений. АП - прежде всего парсер, ЗП - конструктор действий пользователя.

Оба софта мне нравятся и регулярно пользуюсь ими в повседневной работе (у вас могут быть другие потребности :-))
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах





В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.


Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.


Для владельцев CapMonster и (другой софт) - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах


Улучшения

  • Новый парсер
    Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
  • Новый парсер
    Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
  • Новый парсер
    SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
  • Новый парсер
    SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
  • Добавление ссылок в индекс Бинга -
    SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
  • Новый парсер
    Rank::OpenSiteExplorer::Extended - расширенная версия парсера
    Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
  • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
  • В парсере
    SE::Yandex добавлен сбор времени последнего кэширования страницы


Исправления в связи с изменениями в выдаче

  • SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
  • SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
  • В парсере
    Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
  • SE::Google::Trends - полностью обновлен парсер и список собираемых значений
  • Rank::LinkPad,
    Rank::MajesticSEO,
    SE::Seznam


Исправления

  • Проблема с прокруткой в Планировщике
  • Проблема с кодировкой в tools.parseJSON
  • Ошибка импорта JavaScript парсеров
 

A-Parser Support

Пользователь
Регистрация
03.06.2013
Сообщения
176
Благодарностей
22
Баллы
18
1.1.832 - новые парсеры, выбор языка интерфейса в Google



Улучшения
  • Новый парсер
    Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
  • Новый парсер
    Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
  • Новый парсер
    Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com
  • В парсере
    SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
  • В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и (другой софт)
  • Удалены 5 устаревших парсеров:
    SE::Google::pR - сервис больше не существует,
    SE::Google::Maps - выдача зависит от гео прокси,
    Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой,
    Rank::Category - нет подходящего сервиса,
    Rank:: DMOZ - dmoz прекратил свое существование в марте
  • Теперь парсер
    SE::Yandex по умолчанию использует https, избегая ненужного редиректа
Исправления в связи с изменениями в выдаче
  • SE::Bing,
    Rank::Archive,
    SE::AOL,
    SE::IxQuick,
    SE::Yahoo,
    Rank::Linkpad
Исправления
  • JavaScript парсеры: исправлена обработка checkbox в настройках
  • JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
  • SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
  • SE::Google::Trends - исправлена работа с неанглийскими запросами
  • В парсере
    Net::HTTP исправлена работа опции Check next page в редких случаях
  • Исправлена работа со сжатым контентом для редких сайтов
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)