A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

Discussion in 'Прочее' started by Forbidden, Jan 21, 2013.

  1. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google

    [​IMG]

    В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

    Помимо этого парсер [​IMG] SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

    Улучшения
    • Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
    • В парсере [​IMG] Net::HTTP не передаются пустые хедеры
    • В парсере [​IMG] SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата
    Исправления в связи с изменениями в выдачи
    • [​IMG] SE::Yandex, [​IMG] SE::AOL
    Исправления
    • В парсере [​IMG] SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
    • [​IMG] Net::Whois не корректно работал с зоной .tr
    • В парсере [​IMG] SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
    • В парсере [​IMG] SE::Yandex не сохранились сессии при использовании аккаунтов
     
  2. nit_off

    nit_off Client

    Joined:
    Dec 7, 2012
    Messages:
    20
    Likes Received:
    1
    Использую данный софт очень давно, в начале покупал для подбора дропов и экономии времени.
    Теперь все задачи по парсингу отправляю в а-парсер.
    Огромные плюсы для меня запускается на любых впс(беру на бесплатный тест)
    и отличная поддержка как техническая так и в плане актуальности всех парсеров.
     
  3. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
  4. zazhigin

    zazhigin Client

    Joined:
    Jun 30, 2015
    Messages:
    1
    Likes Received:
    2
    Отличный софт. За 10 минут спарсил 100к ссылок по моим запросам. Под мои нужды самое лучшее решение.
     
    Mr.Slim and A-Parser Support like this.
  5. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов

    [​IMG]

    Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:
    • уменьшение потребления памяти
    • больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков
    Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

    Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

    Улучшения
    • Все парсеры позиций в поисковых системах([​IMG] SE::Google::Position, [​IMG] SE::Yandex::Position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
    • Для парсера [​IMG] SE::Yandex добавлена возможность указать язык результатов поиска
    Исправления в связи с изменениями в выдаче
    • [​IMG] SE::Google, [​IMG] SE::Yandex, [​IMG] SE::DuckDuckGo, [​IMG] SE::Yandex::Direct::Frequency
    Исправления
    • В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере [​IMG] SE::Yandex::Direct::Frequency
    • Очистка очереди заданий работала некорректно
     
  6. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

    16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

    Парсинг OpenSiteExplorer (MOZ) с авторизацией
    С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.
    [​IMG]

    Парсинг всех сайтов из указанной категории Я.Каталога
    Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.
    [​IMG]

    Как парсить Яндекс.Новости?
    В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова :-)
    [​IMG]

    Кроме этого:


    Еще больше различных рецептов в нашем Каталоге примеров!

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

     
  7. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов

    [​IMG]
    В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах [​IMG] Net::HTTP, [​IMG] HTML::LinkExtractor и [​IMG] HTML::TextExtractor

    В конструкторах запросов улучшена логика при разделении запроса на части

    Исправления в связи с изменениями в выдачи
    • [​IMG] SE::Yandex - пропускались некоторые ссылки
    • [​IMG] SE::MailRu, [​IMG] SE::Baidu
    Исправления
    • Исправлена поддержка тега meta http-equiv в парсере [​IMG] Net::HTTP
    • Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
    • В парсере [​IMG] SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
    • Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга
     
  8. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Доброго времени суток, друзья!


    Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:


    [​IMG]


    Давайте более подробно рассмотрим нововведения:

    • теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
    • API будет дорабатываться и пополняться полезными возможностями
    • для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
    • ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий


    Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!

    Благодарим вас за использование A-Parser:az:
     
  9. Andrew Shell

    Andrew Shell Client

    Joined:
    Nov 24, 2016
    Messages:
    28
    Likes Received:
    9
    Постоянно ведется разработка новых функций, добавление новых парсеров и исправление ошибок, убедится в этом можно на странице http://a-parser.com/projects/a-parser/news

    https://a-parser.com/projects/a-parser/news
    A-Parser - парсер для профессионалов SEO - Ошибка
    Запрашиваемая страница не найдена.
     
  10. Forbidden

    Forbidden Новичок

    Joined:
    Jan 21, 2013
    Messages:
    20
    Likes Received:
    10
    спасибо за репост сообщения аж 13ого года, все течет, все меняется, вот вам актуальная ссылка https://a-parser.com/news/ :az:
     
    Andrew Shell likes this.
  11. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Всем привет!

    Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.

    Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/


    [​IMG]

    Всем профитной недели и приятной работы в месте с A-Parser!
     
  12. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Дорогие друзья!


    [​IMG]


    Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX


    Не упустите этот момент, возможно розыгрыш произойдёт только один раз :-)


    С любовью, команда A-Parser!
     
  13. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    1.1.712 - новогодняя юбилейная 100-ая версия, JavaScript парсеры


    [​IMG]


    Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже


    Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.


    Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)


    [​IMG]


    A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!


    Улучшения

    • JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
    • JS парсеры: возможность получить и установить Cookies
    • JS парсеры: мютекс для синхронизации между потоками
    • JS парсеры: возможность использования инструментов tools
    • JS парсеры: поддержка запросов к другим парсерам
    • Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
    • В парсере [​IMG] HTML::TextExtractor будут игнорироваться блоки меню без текста
    • В парсере [​IMG] SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам
    • API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
    • API: при выставленном флаге rawResults будут передаваться все доступные результаты
    • Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
    • Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
    • Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог

    Исправления в связи с изменениями в выдачи


    • В парсере [​IMG] SE::YouTube не собиралась выдача
    • В парсере [​IMG] SE::Bing не парсилось количество результатов для новостей
    • В парсере [​IMG] SE::Google не собирались рекламные блоки
    • В парсере [​IMG] SE::Yandex некоторые позиции в выдаче могли пропускаться
    • В парсере [​IMG] SE::Yandex::Register исправлена обработка ошибок регистрации


    [*]Исправления

    • Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
    • В парсере [​IMG] SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси
    • В парсере [​IMG] Net::HTTP не корректно работала опция Check next page при редиректе на другой URL
    • Исправлена проблема с работой [​IMG] [noparse]Net::DNS[/noparse] на ОС Linux x64
    • Исправлен вывод ошибок в логе при уникализации "не доменов"
    • Исправлена работа парсера [​IMG] HTML::TextExtractor::LangDetect
    • Исправлен парсер [​IMG] Check::BackLink, ошибка появилась в предыдущей версии
    • Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии



    Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!
     
  14. asusa651

    asusa651 Client

    Joined:
    Mar 18, 2015
    Messages:
    33
    Likes Received:
    0
    Доброго время суток, интересует отдельна услуга по парсеру статей, всего ключей будет 1863, разбиты на 11 категорий

    1. Парсер статей по ключевым запросам
    2. Парсить на 1 ключ по 30 статей
    3. Если идет картинка в статье то копировать урл картинки для этой статьи
    4. Определять и не парсить тексты с доров
    5. Оставлять только нужные теги <p><div><strong><H1> и так далее.. Остальное удалять
    6. Статьи парсить только от 2500 знаков б/п
     
  15. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Доброго времени суток друзья! Команда A-Parser поздравляет вас с наступившим 2017 годом и наступающим Рождеством.


    Не забывайте о нашем розыгрыше https://vk.cc/5YBNVX/. Мы разыграем сегодня 3 лицензии на A-Parser общей стоимостью $437. Результаты розыгрыша после 17:00 по Москве. Более подробную информацию смотрите по ссылке которая указана выше.

    [​IMG]
     
  16. one

    one Client

    Joined:
    Sep 22, 2015
    Messages:
    5,193
    Likes Received:
    864
    403 Forbidden - выдает ссылка.
     
  17. bumer

    bumer Client

    Joined:
    Mar 15, 2015
    Messages:
    220
    Likes Received:
    78
    а как то онлайн просмотреть можно будет как выбираться будут победители? Слеш убери
     
  18. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Стрим не делали :-)
     
  19. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    1.1.726 - новые возможности планировщика, множество исправлений


    [​IMG]


    Улучшения


    • В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
    • В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
    • Файл логов задания теперь удаляется одновременно с удалением задания
    • В тестовом парсинге улучшен дебагер и предпросмотр HTML кода


    Исправления в связи с изменениями в выдачи

    • [​IMG] SE::YouTube, [​IMG] Rank::DMOZ, [​IMG] Rank::Mustat, [​IMG] SE::Dogpile, [​IMG] SE::Ask, [​IMG] SE::AOL


    Исправления


    • В парсере [​IMG] Net::Whois исправлен парсинг дат для множества доменных зон
    • Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
    • Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
    • Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
    • В некоторых случаях использование XPath могло приводить к зависанию парсера
    • В парсере [​IMG]SEO::Ping исправлена обработка ответов для некоторых сервисов
    • В некоторых случаях ошибка задания могла отображаться некорректно


    Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!


     
  20. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:






    В уроке рассмотрены:

    • Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
    • Использование регулярных выражений для фильтрации данных результата
    • Использование конструктора результатов для модификации результатов
    • Использование Cookies в запросах


    Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!
     
  21. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах


    [​IMG]


    В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)


    Улучшения

    • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
    • В парсере [​IMG]SE::Yahoo теперь определяется бан прокси по IP
    • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

    Исправления в связи с изменениями в выдаче

    • [​IMG]SE::Yandex - парсил только первую страницу выдачи
    • [​IMG] SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

    Исправления

    • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
    • В парсере [​IMG] HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

    Исправления в JavaScript парсерах

    • Настройки checkbox воспринимались некорректно
    • Исправлена ошибка в работе this.cookies.setAll
    • В интерфейсе не отображались измененные параметры конфига
    • Исправлены утечки памяти
    • Исправлено игнорирование параметра success
    • Исправлено поведение при использовании Override настроек
    • Исправлена ошибка при получении результатов из другого парсера
     
  22. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing


    [​IMG]


    Улучшения

    • В парсер [​IMG] SE::Bing добавлена возможность выбора языка результатов поиска
    • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)
    • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
    • В парсере [​IMG] SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи


    Исправления в связи с изменениями в выдачи

    • [​IMG] SE::Google - исправлена работа с антигейтом
    • В парсере [​IMG] SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
    • В парсере [​IMG] SE::Yandex исправлен сбор сниппетов
    • [​IMG] SE::AOL, [​IMG]SE::Bing::Images


    Исправления


    • Исправлена утечка памяти при использовании логов в задании
    • В парсере [​IMG] SE::Ask не определялся бан прокси
    • Исправлена работа опции allow_outside_files
    • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
    • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным
     
    alekwuy likes this.
  23. SadisT_UA

    SadisT_UA Client

    Joined:
    Dec 14, 2012
    Messages:
    35
    Likes Received:
    6
    Спасибо большое автору за данный инструмент! В паре вместе с зенкой отлично работает, скорость парсинга ссылок и контента для доров просто зашкаливает :-) Так же очень радует, что парсер постоянно обновляется и поддержка на высоте.
     
    A-Parser Support likes this.
  24. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    Спасибо большое за ваш отзыв :-)
     
    SadisT_UA likes this.
  25. Biohazard

    Biohazard Client

    Joined:
    May 7, 2015
    Messages:
    26
    Likes Received:
    0
    Не удержусь если тоже не оставлю свой отзыв ))
    По скорости, гибкости настроек, стабильности это один из крутейших парсеров.
    Софтинка трудится сутками и полностью себя оправдывает по функционалу.
    Маст хэв!
     
  26. d4k

    d4k Client

    Joined:
    Dec 24, 2014
    Messages:
    18
    Likes Received:
    2
    Купил A-Parser, быстро разобрался в настройках все подробно и понятно описанно в доках. Шустро работает - сколько парсеров перепробывал принял решение: останусь на A-Parserе. Данному продукту нет равных и аналогов не видел. Денег своих стоит, да и окупить можно с полна если руки прямые и из плечей растут.
     
  27. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    [​IMG]


    A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:


    [​IMG]


    Улучшения

    • Новый экспорт заданий
    • В JavaScript парсерах добавлена возможность указать иконку парсера
    • В JavaScript парсерах добавлен функционал для работы с CAPTCHA
    • Добавлено автоматическое версионирование JavaScript парсеров
    • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
    • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
    • В JavaScript парсерах добавлен функционал управления прокси
    • В парсере [​IMG] Check::BackLink улучшена обработка nofollow

    Исправления в связи с изменениями в выдачи

    • [​IMG] SE::DuckDuckGo, [​IMG] SE::Ask, [​IMG] SE::AOL, [​IMG] Rank::MajesticSEO
    • [​IMG] SE::Bing не парсил при указании региона
    • Парсер [​IMG] SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи

    Исправления

    • В парсере [​IMG] SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
    • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
    • В парсере [​IMG] SE::Bing в серп могли попадать рекламные блоки
    • В парсере [​IMG] Net::Whois собиралась дата для некоторых доменов
    • В JavaScript парсерах исправлен вывод ошибок в коде
    • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики
     
  28. Red_Comet

    Red_Comet Client

    Joined:
    Jan 24, 2014
    Messages:
    38
    Likes Received:
    14
    Небольшой отзыв-обзор для тех, кто не совсем понимает, в чем основные отличия между Зеннопостером (ЗА) и А-Парсером (АП), с любительской точки зрения. И думает, брать или нет. (я, когда купил оба софта, тоже не особенно понимал, зачем я это сделал :-))

    Буду писать совсем по-тупому и по-простому, чтоб все вместилось. В ЗП ты "записываешь" свои действия, и на автомате повторяешь. Это может быть запрос к поисковику с последующим сохранением данных (парсинг), работа с файлами на локальном/удаленном компьютере (скопировали, наполнили,...), и т.д.

    В АП ты выбираешь один из "источников", откуда ты будешь дергать контент, и настраиваешь соответсвующий парсер. Это может быть парсер гугла, youtube, и т.д. из 64 готовых парсеров. Плюс Net:HTTP, на основе которого можно создать парсинг практически с любой ссылки.

    Теперь ключевой момент. Если хочется создать парсер в ЗП, который уже включен в АП, это будет лишний геморрой на голову (нужно создать, оттестировать, регулярно обновлять свой созданный парсер в ЗП + еще какие то моменты, о которых мне неизвестно). В АП же это на 1 раз настроить и идти гулять. Плюс регулярные обновления. Это про 64 готовых.

    С Net:HTTP посложнее, поскольку надо соображать в Regex, но в теории - где что то дают, можно собирать (парсить). У АП огромная скорость, только успевай подавать на вход живые прокси (для поисковиков) или предоставь достаточный канал в интернет.

    А-Парсер - это как огроменный проект ЗП, заточенный под объемный парсинг всего живого и неживого на большой скорости. С большей долей вероятности скоростные характеристики АП превысят любые проекты, созданные новичками и любителями в ЗП (возможно, и профессионалами, но у меня нет навыков, чтобы утверждать о подобном). Т.е. оптимально использование парсера, если постоянно возникает потребность в парсинге данных и нет желания и/или времени создавать и поддерживать свои проекты в ЗП.

    Освоиться в Зеннопостере по-проще, но разобраться во всех мельчайших подробностях - сложнее (личное мнение). Если отбросить пользовательский контент, в ЗП надо создавать все проекты с нуля, в АП уже есть пачка готовых решений. АП - прежде всего парсер, ЗП - конструктор действий пользователя.

    Оба софта мне нравятся и регулярно пользуюсь ими в повседневной работе (у вас могут быть другие потребности :-))
     
    A-Parser Support and Forbidden like this.
  29. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах


    [​IMG]


    В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.


    Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.


    Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах


    Улучшения

    • Новый парсер [​IMG] Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
    • Новый парсер [​IMG] Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
    • Новый парсер [​IMG] SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
    • Новый парсер [​IMG] SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
    • Добавление ссылок в индекс Бинга - [​IMG] SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
    • Новый парсер [​IMG] Rank::OpenSiteExplorer::Extended - расширенная версия парсера [​IMG] Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
    • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
    • В парсере [​IMG] SE::Yandex добавлен сбор времени последнего кэширования страницы


    Исправления в связи с изменениями в выдаче

    • [​IMG] SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
    • [​IMG] SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
    • В парсере [​IMG] Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
    • [​IMG] SE::Google::Trends - полностью обновлен парсер и список собираемых значений
    • [​IMG] Rank::LinkPad, [​IMG] Rank::MajesticSEO, [​IMG] SE::Seznam


    Исправления

    • Проблема с прокруткой в Планировщике
    • Проблема с кодировкой в tools.parseJSON
    • Ошибка импорта JavaScript парсеров
     
  30. A-Parser Support

    A-Parser Support Пользователь

    Joined:
    Jun 3, 2013
    Messages:
    169
    Likes Received:
    22
    1.1.832 - новые парсеры, выбор языка интерфейса в Google

    [​IMG]

    Улучшения
    • Новый парсер [​IMG] Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
    • Новый парсер [​IMG] Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
    • Новый парсер [​IMG] Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com
    • В парсере [​IMG] SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
    • В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil
    • Удалены 5 устаревших парсеров: [​IMG] SE::Google::pR - сервис больше не существует, [​IMG]SE::Google::Maps - выдача зависит от гео прокси, [​IMG] Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, [​IMG] Rank::Category - нет подходящего сервиса, [​IMG] Rank:: DMOZ - dmoz прекратил свое существование в марте
    • Теперь парсер [​IMG] SE::Yandex по умолчанию использует https, избегая ненужного редиректа
    Исправления в связи с изменениями в выдаче
    • [​IMG] SE::Bing, [​IMG] Rank::Archive, [​IMG] SE::AOL, [​IMG] SE::IxQuick, [​IMG] SE::Yahoo, [​IMG] Rank::Linkpad
    Исправления
    • JavaScript парсеры: исправлена обработка checkbox в настройках
    • JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
    • [​IMG] SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
    • [​IMG] SE::Google::Trends - исправлена работа с неанглийскими запросами
    • В парсере [​IMG] Net::HTTP исправлена работа опции Check next page в редких случаях
    • Исправлена работа со сжатым контентом для редких сайтов
     

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)