Парсер Youtube

[socnet]

Парсер включает два шаблона:

• парсер описания и названия видео
• парсер рекомендуемых видео

Youtube Video Info Parser
Делает GET-запрос на страницу с видео, выдергивает описание и название.

Youtube ID Parser
Для затравки скармливается ID одного видео. Далее шаблон парсит ID рекомендуемых видео.

Сначала следует напарсить ID. У меня получилось около 402к за неделю. Затем запускаем шаблон с парсингом видео. По идее, оба шаблона могут работать вместе - парсинг ID всегда будет идти быстрее, чем описаний и названий.

Данные сохраняются в БД MySQL, т.к. хранить в файлах - это медленно и неоптимально. Потребуется установить саму БД и phpmyadmin (опционально).

Способ установки №1
Скачать инсталлер на https://dev.mysql.com/downloads/installer/. Для phpmyadmin потребуется PHP и веб-сервер (Apache или nginx). Можно скачать готовые LAMP-сборки Wamp, Xampp etc.

Способ установки №2
Устанавливаем Docker Desktop. Подготавливаем файл docker-compose.yml, переходим в директорию с этим файлом и выполняем команду docker-compose up. После запуска контейнеров phpmyadmin будет доступен по адресу localhost:8080.

Создаем таблицу с такой структурой:

Создаем уникальный индекс для youtube_id, чтобы избежать дублей. И, конечно же, primary индекс для автоинкремента.
Естественно, индексы нужно создать до заполнения таблицы данными.

БД готова. Добавляем одну запись ручками с первым ID. Пример: https://www.youtube.com/watch?v=nok4P9cYw_g - выделил ID. Можно взять любое видео и скопировать его ID для затравки. Далее запускаем Youtube ID Parser. Как только появилась хотя бы первая 1000, то можно запускать Youtube Video Info Parser.

 

[sabir]

Спасибо но не понял зачем, тоисть в каких целях можно применить?

 

[socnet]

Спасибо но не понял зачем, тоисть в каких целях можно применить?

Например, для дорвеев.

 

[webposter]

Запустил оба шаблона. Всё шустро работает.

Phpmyadmin в принципе не особо нужен, можно всё сделать Воркбенче.