Парсер Rutube

[socnet]

Парсер включает два шаблона:

• парсер описания и названия видео
• парсер рекомендуемых видео

Rutube Video Parser
Переходит в браузере на страницу с видео, выдергивает описание и название.

Rutube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.

Сначала следует напарсить ID. У меня получилось около 2.5 млн за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.

Данные сохраняются в БД MySQL, т.к. хранить в файлах такое огромное количество информации просто неоптимально. Для работы потребуется установить саму БД и phpmyadmin (опционально, для удобства).

Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.

Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду docker-compose up. После запуска контейнеров pma будет доступен по адресу localhost:8080.

Создаем таблицу с такой структурой:

Создаем уникальный индекс для video_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.

БД готова. Добавляем одну запись ручками с первым ID. https://rutube.ru/video/b95b7041ad1c3dbde2730be0496ab7cb/ - выделил ID. Берем любое видео и копируем ID. Далее запускаем Rutube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Rutube Video Parser.

 

[indigo666]

Если более практичный и быстрый путь для rutube