Парсер категорий товаров

[skif1965]

Здравствуйте.
Подскажите пожалуйста, как спарсить структуру категорий товаров магазина, когда огромное количество категорий, категорий второго, третьего уровня? Как их складывать чтоб не запутаться.

 

[Nord]

Заходить поочередно в каждую категорию и парсить подкатегории в список. Потом заходить в них и тд. Циклы.
Либо искать лазейку. Они почти всегда есть

 

[Solus]

Неизвестно о каком сайте идет речь. Возможно там есть страница карта сайта (sitemap или нечто подобное), обычно на таких страницах можно спарсить всё по блокам а далее уже разобрать на составные части.

 

[skif1965]

Вот сайт www.afalinaural.ru за что можно зацепиться.

 

[kapelan28]

Вот сайт www.afalinaural.ru за что можно зацепиться.

Вот карта сайта

http://www.afalinaural.ru/sitemap.xml

Можете через GET-запрос получить содержимое и собрать все ссылки, а потом регуляркой заменить основную часть домена на актуальный адрес сайта (первый раз вижу, чтобы в карте сайта стояли ссылки неактуальные, видать переехали на новый домен). Но что самое трудное - все ссылки второго уровня идут. Зайдите в любую подкатегорию, а ссылка не покажет принадлежность к категории.

 

[kapelan28]

как вариант, можно сначала собрать ссылки, относящиеся к <div class="catalog">, а потом каждую из ссылок отдельно пройти на подкатегории и все это отдельно записывать.

 

[skif1965]

Пробовал парсить сначала ссылки второго уровня, теряюсь, слишком много, потом не могу концов найти.

 

[skif1965]

Получилось выдернуть ссылки второго уровня такого типа
<li><a href="http://www.afalinaural.ru/betonosmesiteli.html">Бетоносмесители</a></li>
как вырезать ссылку?

 

[Solus]

Так вот же у вас на этой странице afalinaural.ru/site-map.html в её коде, разметка просто сказка для парсера, соберите блоки а потом разберёте их на составные части.

 

[skif1965]

Спасибо но для меня это темный лес.