Нужен шаблон кекширования доров

nicos77777

Client
Регистрация
04.04.2013
Сообщения
331
Благодарностей
16
Баллы
18
добрый вечер. нужно сделать шаблон который скекшировалбы мне дор до определенного уровня вложенности, не вылазя за пределы дора и обходя дор по всем ссылкам(тоесть с доменом и без), подобие паука. кекшировать нужно видимо, тоесть дор специфический, кортинки не появятся через гет запрос.
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 223
Баллы
113

lokiys

Moderator
Регистрация
01.02.2012
Сообщения
4 770
Благодарностей
1 180
Баллы
113
WARNING

It's great. I love the checker, but when you download it, you get malware. Had I not had xenu for a long time, I would have thought that xenu was malware because of this. Get rid of the crappy malware that is installed alongside xenu. It hurts the reputation of a great product. And yes, I KNOW it came with Xenu. My antivirus was going crazy when Xenu was downloading, and it STILL managed to install two viruses on my computer.

 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 223
Баллы
113

nicos77777

Client
Регистрация
04.04.2013
Сообщения
331
Благодарностей
16
Баллы
18

lokiys

Moderator
Регистрация
01.02.2012
Сообщения
4 770
Благодарностей
1 180
Баллы
113
@lokiys
Did you know that some antiviral software mark some components of ZennoPoster as a virus or mailware?
Yep I know XulRunner is found as virus by some antivirus softs.
Did you know that some Malware are not found using virustotal ?
Its just a friendly heads up after that you can install whatever is good for you :-)

Cheers
 

nicos77777

Client
Регистрация
04.04.2013
Сообщения
331
Благодарностей
16
Баллы
18

one

Client
Регистрация
22.09.2015
Сообщения
6 792
Благодарностей
1 264
Баллы
113
А зачем вам Xenu в зенку загружать? Собирайте урлы Xenu, выгружайте их и делайте со списком что хотите. Могу посоветовать вместо Xeno использовать Screaming Frog SEO spider. Тоже не плохой инструмент. На торентах ищите.
 

one

Client
Регистрация
22.09.2015
Сообщения
6 792
Благодарностей
1 264
Баллы
113
WARNING

It's great. I love the checker, but when you download it, you get malware. Had I not had xenu for a long time, I would have thought that xenu was malware because of this. Get rid of the crappy malware that is installed alongside xenu. It hurts the reputation of a great product. And yes, I KNOW it came with Xenu. My antivirus was going crazy when Xenu was downloading, and it STILL managed to install two viruses on my computer.
You need download tools from developers sites. :-)
 

7make

Client
Регистрация
25.06.2011
Сообщения
1 547
Благодарностей
1 310
Баллы
113

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с 7make какие-либо сделки.

nicos77777

Client
Регистрация
04.04.2013
Сообщения
331
Благодарностей
16
Баллы
18
UP мужики извините, но нужна ваша помощь. Реализовал гулялку по сайту до определенного уровня. Но в этой гулялке присутствует сайт/сервис который показывает внутренние ссылки. Это сильно затормаживает скорость а иногда и качество. Вы не можете подсказать снипет который бы выдирал внутренние ссылки на страници(и выдавалбы список в виде 'домен.ру/блаблабла')

Заранее огромное спасибо!
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 706
Баллы
113
Не совсем понимаю связки тормозов и того что вам нужно получить ссылки.
Можно в цикле взять все элементы a и их href + сохранение в список. Изменяя номер совпадения счетчиком
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)