Парсинг информации с tuningfiles.com – офер закрыт, подрядчик найден

[ipetrov]

Техническое задание – https://mrgushchin.notion.site/tuningfiles-com-db5bb120f68f4986882825cb182cc14f?pvs=4 (с картинками)
Сайт: https://tuningfiles.com/
Задача: парсинг и актуализация данных с сайта tuningfiles.com
Цена: $150 за готовый скрипт на базе ZennoBox (код не требуется). Если что-то на сайте изменится и потребуется обновить скрипт – обновление будет оплачиваться также.
Связь: https://t.me/Mr_RahulSharma

Что делаем:
Режим 1 (парсинг данных)

1. Опускаемся до блока Please Select Your Vehicle
   
   
   
   
2. Нужно собрать информацию по каждому мотору в каждой категории, каждого бренда, каждой модели, поколения (перебрать все комбинации):
   
   
   1. Выбираем категорию: автомобиль, грузовик, трактор, лодка, мотоцикл
   2. Выбираем Brand
   3. Выбираем Model
   4. Выбираем Generation
   5. Выбираем Motor
   6. Нажимаем “View remaps”
3. Открывается информация, где нужно спарсить следующие данные:
   
   
   1. Данные выбранного объекта (то, что выбирали выше)
      1. Категория
      2. Brand
      3. Model
      4. Generation
      5. Motor
   2. Логотип бренда
      1. ссылку на картинку
      2. саму картинку (+ название файла, которе положим в json и csv)
   3. Картинку объекта
      1. ссылку на картинку
      2. саму картинку (+ название файла, которе положим в json и csv)
   4. Блок Sedox performance tuning (в некоторых объектах может не быть Stage 2)
      1. Power (hp)
         1. Original
         2. Stage 1
         3. Increase
         4. Stage 2
         5. Increase
      2. Torque (Nm)
         1. Original
         2. Stage 1
         3. Increase
         4. Stage 2
         5. Increase
   5. Engine specifications– берем всю информаци по объекту
      1. Engine type
      2. Fuel
      3. Capacity
      4. Cylinders
      5. Engine code
      6. ECU
      7. TCU
   6. Available options – берем только текст под картинками (сами картинки не нужны)
   7. Work method
   8. Tools
   9. Получить исходные данные (не картинка, данные) из графика Dynochart Используется Chart.js v2.9.3 https://www.chartjs.org, график рисуется на canvas
      1. Если погуглить “Как выгрузить данные с Canvas”, найдете несколько решений
4. Сохраняем полученные данные и дату, время, когда добавили объект в json и csv форматах

Режим 2 (проверка, актуализация объектов)

Если появился новый объект – добавляем информацию к нам в базу

1. Бежим по всем объектам и сравниваем, есть ли у нас такой же.
2. Если нашли новый объект, которого у нас нет – парсим данные и сохраняем к нам в базу Как вариант, можно сохранять идентификаторы новых объектов, чтобы потом запустить режим 1 только для новых объектов – на ваш выбор.

Обработка ошибок

Также нужна обработка и вывод ошибок скрипта, если на сайте что-то изменилось у бота не получается распарсить данные.

 

[Ахилес]

Погуглил....

то есть, вы предлагаете заняться реверсингом JS скриптов сайта, меньше чем за 50$ (ну пусть 100$ будет оплата за остальной парсер) ?
с учетом того что результат не ясен и возможно придется тащить данные с отрендеренного канваса, а это уже компьютерное зрение надо подключать.

 

[Ахилес]

а не... все есть в запросах, в удобненьком JSON

 

[Mikhail B.]

а не... все есть в запросах, в удобненьком JSON

Важный урок. Нечего всех подряд слушать))

 

[ipetrov]

Подрядчик найден, всем спасибо!

 

[ipetrov]

Приветствую коллеги!
Офер снова открыт, ищем подрядчика – кто готов взяться, пожалуйста, пишите в телеграм https://t.me/Mr_RahulSharma

P.s.: предыдущий подрядчик не уложился в обозначенные им сроки более, чем в 2 раза и до сих не показал работающий скрипт.

 

[ipetrov]

Всем спасибо, подрядчик найден