Нужно спарсить сайт auto.ru по Москве не битые.

arxrs

Новичок
Регистрация
10.04.2018
Сообщения
6
Благодарностей
0
Баллы
1
Нужно спарсить auto.ru по всем маркам автомобилей, и год выпуска от 1995 и до 2018.город Москва.не битые.
Затем после сбора всей информации, он сортировал бы по цене по
возрастанию (к примеру от 1 до 100), по каждой модели и году.
затем брал бы суммы с 6 по 10, и вычислял бы среднюю сумму.
Затем отнимал от средней суммы 20%, полученное значение назовем "Предложение".
Загружал бы все эти данные в mysql и в txt.
Я приблизительно описал что нужно, потому вполне готов на корректировки.
 

arxrs

Новичок
Регистрация
10.04.2018
Сообщения
6
Благодарностей
0
Баллы
1
не битые, в смысле не битые автомобили
 

arxrs

Новичок
Регистрация
10.04.2018
Сообщения
6
Благодарностей
0
Баллы
1
я так понимаю основная сложность в том что требуеться определнное количество прокси, самому если их покупать ради парсинга раз в 1-2 мес, боюсь дороговато. Если у вас есть какие-то вопросы, спрашивайте, может потребуются какие-то уточнения или корректировке.
В принципе загрузку в mysql можно будет опустить, и по поводу вычетания 20% я тоже думаю можно будет опустить.
 

one

Client
Регистрация
22.09.2015
Сообщения
6 793
Благодарностей
1 264
Баллы
113
я так понимаю основная сложность в том что требуеться определнное количество прокси, самому если их покупать ради парсинга раз в 1-2 мес, боюсь дороговато.
Да не думаю, на фришном пуле вполне можно справиться. Возможно возьмусь за написание парсера. Стоимость 50$.

Эти все вещи Вы сможете делать в Excel самостоятельно. За них не надо платить деньги.
он сортировал бы по цене по
возрастанию (к примеру от 1 до 100), по каждой модели и году.
затем брал бы суммы с 6 по 10, и вычислял бы среднюю сумму.
Затем отнимал от средней суммы 20%, полученное значение назовем "Предложение".
 

arxrs

Новичок
Регистрация
10.04.2018
Сообщения
6
Благодарностей
0
Баллы
1
честно говоря а вы спарсить именно сможете?
 

Dexio

Client
Регистрация
09.05.2014
Сообщения
1 254
Благодарностей
220
Баллы
63
Могу спарсить, задача прикольная с пострассчетами. Без mysql конечно-это тот еще фетиш. Можно красивый динамический эксель быстро сделать.
 

Moadip

Client
Регистрация
26.09.2015
Сообщения
509
Благодарностей
823
Баллы
93
Без mysql конечно-это тот еще фетиш
В чем именно?
Пихать БД под каждую задачу, это помоему фетиш. Ну типа чтобы было.))
Для начала надо определиться, для чего нужна БД, и есть ли целесообразность.
Т.к. если делать БД, это надо ее еще поставить(MySql), а потом еще делать к ней запросы.
Если задача спарсить инфу раз в месяц, а не активно юзать данные - обновлять/добавлять/удалять, то можно обойтись обычным набором csv файлов для каждой модели.

требуеться определнное количество прокси, самому если их покупать ради парсинга раз в 1-2 мес, боюсь дороговато.
По проксям тоже надо смотреть. Вполне возможно что и без проксей получится, или юзать проксичекер, с халявными проксями.
Ну и делать естественно все на запросах. Это же парсер.

честно говоря а вы спарсить именно сможете?
Если у народа не получится реализовать. Могу взяться.))
 

yriy158

Client
Регистрация
10.08.2013
Сообщения
491
Благодарностей
301
Баллы
63
Мне как-бы тоже нравится БД при работе, например, в многопотоке, но тут и обычного екселя хватит, имхо. Фильтры, макросы, формулы и все встроено. Тем более что данных не так и много, около 120к строк.
 

arxrs

Новичок
Регистрация
10.04.2018
Сообщения
6
Благодарностей
0
Баллы
1
В целом БД нужно для сайта потому что эти данные будут использоваться на сайте, соответственно база уже есть на хостинге
 

one

Client
Регистрация
22.09.2015
Сообщения
6 793
Благодарностей
1 264
Баллы
113

backoff

Client
Регистрация
20.04.2015
Сообщения
5 925
Благодарностей
6 389
Баллы
113
эксель больше 1кк строк не поддерживает. 1048000 примерно... на автору думаю строк будет поболее, лучше сразу в базу пихать... просто совет
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 165
Благодарностей
2 165
Баллы
113
неа, там ~100 000 строк. Сортировку можно сделать в шаблоне C# кодом обработки ячеек таблицы, тоже не вижу смысла в базе. Потом разве что сформировать файл импорта в БД сайта по желанию.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)