скрапинг

  1. W

    Ищу исполнителя: универсальный парсер сайтов любого объема

    Написать универсальный рекурсивный парсер (обход каждой страницы) для сайтов любого объема и протестировать на сайте на 10 млн страниц. Требования: - историю и очередь парсинга хранить в БД со статусами страниц, размерами, датами и т.п. - возможность замены UserAgent - парсинг на GET...
  2. Lord_Alfred

    3 место  Конвейер ⃰ по парсингу баз ключевиков (заголовков статей) от Грибника

    Вот и пришло время рассказать о моей "небольшой" уникальной разработке, которую я делал и тестировал более 2х недель :-) Предисловие Наверняка многие из тех, кто тут занимается дорвеестроительством и SEO сталкивались с тем, что для получения качественных результатов необходимо создавать...