Парсер Авито [fastParserAvito]

Discussion in 'Прочее' started by alexpost, May 21, 2018.

  1. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    [​IMG]

    Программа-парсер объявлений по любым поисковым ссылкам (с поддержкой любых критериев).

    Основные возможности

    • Многопоточность — есть возможность парсить страницы каждой "поисковой ссылки" параллельно в несколько потоков, что увеличивает скорость сбора данных.
    • Поддержка прокси (http/socks5)
    • Высокая скорость парсинга. В минуту парсит примерно 100-120 объявлений в один поток, на минимальных паузах. 50 потоков 7,2 млн в сутки.
    • 80% процентов запросов - это работа через API Avito
    • Полностью настраиваемое сохранение данных (параметров для каждого объявления - любой их них можно включить/выключить)
    • Возможность сохранять только объявления с сотовыми номерами
    • Возможно задать формат сохранения сотовых номеров: "79...", "+79...", "89..."
    • Пропуск объявления, если оно уже было обработано ранее или содержит телефоны, найденные ранее
    • Установка количества страниц для "поисковой ссылки". Например, собирать только первые 5 страниц.

    [​IMG]


    Парсер способен собрать объявления с любого раздела авито (кроме резюме) включая все дополнительные фильтры по поиску объявлений и любые ключевые слова.


    [​IMG]

    Цитата из сети: Программа рассчитана на одновременный парсинг десятков, максимум - сотен тысяч объявлений. Претензии вроде "я не смог слить все 40 млн объявлений" не принимаются!


    Позже добавлю больше настроек для обработки собранных баз. Лицензия вечная. Абонентская плата отсутствует. Обновления пока бесплатные. Продажа с привязкой к железу.

    Цена: 2500р

    Связь: ЛС,skype: vebposter, telegram: @Vebposter
     
    Last edited: Mar 16, 2019
  2. becool555

    becool555 Client

    Joined:
    Jun 11, 2015
    Messages:
    29
    Likes Received:
    4
    Доброго времени суток!
    подскажи, парсит ли ваш парсер объявления из раздела "Резюме" ???
     
  3. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Не парсит, добавил эту информацию.
    Теперь парсит)
     
    Last edited: Jun 12, 2018
  4. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    На днях добавлю и раздел "Резюме", раз он такой актуальный стал)
     
  5. r3d46rus

    r3d46rus Новичок

    Joined:
    Apr 3, 2018
    Messages:
    3
    Likes Received:
    1
    Одним из первых приобрел данный парсер ! Нареканий по работе нет, парсер работает как часы ) и очень шустро . Всем советую так как по аналогичной цене ни чего подобного не найдете тем более с таким функционалом !
     
    alexpost likes this.
  6. ssXXXss

    ssXXXss Client

    Joined:
    Dec 23, 2014
    Messages:
    6,937
    Likes Received:
    1,760
    )) я его тестировал, поэтому ты не мог его первый приобрести ))
     
  7. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Акция до 1 июля!
    Цена снижена до 2500₽!
     
    Last edited: Jul 9, 2018
  8. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Update ver. 1.2
    - Добавлен фильтр "Собирать не позднее даты" (см. скрин настроек)
    Все объявления, размещенные позже указанной даты, будут проигнорированы.
     
  9. Juniorcpa

    Juniorcpa Client

    Joined:
    May 27, 2014
    Messages:
    1,234
    Likes Received:
    566
    Не пойму зачем парсить резюме, если там номера закрыты, а доступ к 150 номерам стоит 4к+ рублей :-)
     
    Last edited: Jul 13, 2018
  10. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Зачем парсить номера с раздела резюме ? Чтобы не платить )
     
  11. Juniorcpa

    Juniorcpa Client

    Joined:
    May 27, 2014
    Messages:
    1,234
    Likes Received:
    566
    Знаю метод с АПК, надо поковырять обычную и мобильные версии. Не знал что там дырка есть :-)
     
  12. ramilxxxl

    ramilxxxl Client

    Joined:
    Feb 25, 2016
    Messages:
    24
    Likes Received:
    2
    Приветствую! А из раздела "Резюме" объявления парсятся с телефонами? То есть номера открыты? Или нужно платить Авито чтобы их открыть?
     
  13. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Платить не надо. После парсинга на 100 000 объявлений процент с номерами ~70%. Заметил чем город мельче, тем процент больше.
     
  14. Anyaax

    Anyaax Новичок

    Joined:
    Aug 24, 2017
    Messages:
    17
    Likes Received:
    1
    а для АлиЭкспресс не желаете такую же штуку сделать? судя по всему, у вас талант, на хорошие продукты для парсинга )
    Правильно я понимаю, из настроек, что можно спарсить только лишь структуру каталога (товарные категории)?
     
  15. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    1. Не желаю) а что там парсить, товар? Для каких целей?
    2. Парсер собирает информацию из обьявлений. Какую именно, определяет пользователь.
     
  16. Anyaax

    Anyaax Новичок

    Joined:
    Aug 24, 2017
    Messages:
    17
    Likes Received:
    1
    для целей аналитики, например ).
    я к тому, что, если мне нужна структура всех разделов Авито, мне как лучше поступить, чтобы заполучить быстро ее. прогнать только лишь заголовки всех объявлений?
     
  17. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Структуру каталогов можно нагуглить в каком нить xml или json файле.
     
    Last edited: Aug 14, 2018
    Anyaax likes this.
  18. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Update ver. 1.3
    - Увеличение скорости парсинга
    - Полностью переписан алгоритм работы в многопотоке
     
  19. anzheladewis

    anzheladewis Новичок

    Joined:
    Oct 3, 2018
    Messages:
    2
    Likes Received:
    0
    Добрый! Насколько хорошо парсит номера телефонов из вакансий?
     
  20. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Добрый! С Вакансий ? Отлично, с Резюме - все плохо уже ~20%
     
  21. Juniorcpa

    Juniorcpa Client

    Joined:
    May 27, 2014
    Messages:
    1,234
    Likes Received:
    566
    А от чего это зависит?
     
  22. anzheladewis

    anzheladewis Новичок

    Joined:
    Oct 3, 2018
    Messages:
    2
    Likes Received:
    0
    а небольшой пример выгрузки вакансий можно увидеть?
     
  23. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Самому интересно)

    скинул ссылку на пример в личку
     
  24. viktor045

    viktor045 Client

    Joined:
    Sep 2, 2018
    Messages:
    36
    Likes Received:
    6
    Доброго вечера! Подскажите пожалуйста, а рассылка сообщений в приложении или через мессенджеры шаблон у вас есть? Если есть, какая цена?
     
  25. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Добрый день! К сожалению такого функционала нет.
     
  26. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Update v. 1.6

    • Иправление мелких багов
    • Возобновление потока при определенном коде ошибки
    • Добавлен мануал
    Цена за комплект: Парсер Авито + Парсер Юла 4000₽
     
  27. Aleksandr997

    Aleksandr997 Новичок

    Joined:
    May 6, 2019
    Messages:
    4
    Likes Received:
    1
    Здравствуйте, ваш парсер всё ещё парсит резюме авито с № телефона?
     
  28. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Добрый день, нет.
     
    Aleksandr997 likes this.
  29. Aleksandr997

    Aleksandr997 Новичок

    Joined:
    May 6, 2019
    Messages:
    4
    Likes Received:
    1
    И ещё вопрос. А есть аналогичные авито площадки, с которых возможно спарсить?
     
  30. alexpost

    alexpost Client

    Joined:
    Jun 15, 2016
    Messages:
    144
    Likes Received:
    46
    Оффтопить лучше в личке. По резюме не специализируюсь, даже не подскажу...
     
    Aleksandr997 likes this.

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)