Как не спалиться при парсинге базы клиентов?

qwadra

Client
Регистрация
21.11.2017
Сообщения
259
Благодарностей
41
Баллы
28
В общем не буду рассказывать, ка меня работодатель довел до такого бесстыдства, но хочу заиметь подушку безопасности. Инет-магаз, работает на битриксе. Разок пробовал выгрузить в эксель, выгружает все страницы, в итоге выдало ошибку. Повторять палевно. Я не силен в серверных делах, но если сделать парсер, который постранично будет собирать данные, на сколько это будет заметно?

Страницы выглядят так:

 

White trash

Client
Регистрация
09.06.2014
Сообщения
778
Благодарностей
345
Баллы
63
Никогда не работал в битриксе, но думаю парсить зенкой так же палевно как просто смотреть одну страницу за другой.
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 223
Баллы
113
Если есть доступ к БД - просто сделать дамп. Там будут все данные и если сделать всё правильно, то даже админы ничего не заметят.
 

specialist

Client
Регистрация
28.12.2018
Сообщения
732
Благодарностей
343
Баллы
63
который постранично будет собирать данные, на сколько это будет заметно?
С того же компьютера мало отличимо от работы менеджера, в админке битрикса по умолчанию счетчиков нет, только ошибки
 

qwadra

Client
Регистрация
21.11.2017
Сообщения
259
Благодарностей
41
Баллы
28
Никогда не работал в битриксе, но думаю парсить зенкой так же палевно как просто смотреть одну страницу за другой.
Ну типа 600 страниц листать, может какие то логи смотрят и там портянка такая будет

Если есть доступ к БД
нет
 

specialist

Client
Регистрация
28.12.2018
Сообщения
732
Благодарностей
343
Баллы
63

qwadra

Client
Регистрация
21.11.2017
Сообщения
259
Благодарностей
41
Баллы
28

Dr.Pipetka

Client
Регистрация
12.12.2017
Сообщения
1 230
Благодарностей
802
Баллы
113
Нет у меня ничего, все надо парсить
В смысле один раз только пролистать 600 страниц. Потом раз в день смотреть только свежие страницы, что уже не будет паливом(вроде как).
 

bad robot

Client
Регистрация
07.03.2011
Сообщения
175
Благодарностей
28
Баллы
28
если имеется поле ID, то можно брать только новые
 

bad robot

Client
Регистрация
07.03.2011
Сообщения
175
Благодарностей
28
Баллы
28
при выгрузке большого объема, может попросту не хватать памяти на обработку. Если есть доступ к фтп, то можно на время увеличить ее объем в php.ini и после вернуть как было.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)