Автоматизированная кластеризация запросов! Котоаватарцы атакуют!
- Автор темы Lexicon
- Дата начала
а такой зелененький котек? ))))
и ваще чо тот зелененький не нравился? усы жеж есть у него )))
а так да... просто тема интересная )
зыж. блин....аж не по себе стало от этого зеленого чудища ))))))
и ваще чо тот зелененький не нравился? усы жеж есть у него )))
а так да... просто тема интересная )
зыж. блин....аж не по себе стало от этого зеленого чудища ))))))
capturis
Client
- Регистрация
- 21.12.2013
- Сообщения
- 41
- Благодарностей
- 19
- Баллы
- 8
Постараюсь ответить, насколько вник в работу скрипта сам.
К интернету обращений не происходит. Все действия выполняются локально. Суть: читается файл с запросами, к каждому из которых привязано несколько урлов. Один и тот-же урл может отдаваться ПС по разным запросам, следовательно на основе этого урла такие запросы можно объединить в группу.(Ведь на данной странице по мнению ПС есть ответ на каждый из этих запросов. Кроме того данные урлы взяты из топа, следовательно оптимизированы по мнению этой ПС лучше других.)
Важно! Если нужен результат для яндекса, его и парсим для составления листа запрос*урл. Для любой другой ПС - соответственно.
Nick
Client
- Регистрация
- 22.07.2014
- Сообщения
- 1 963
- Благодарностей
- 796
- Баллы
- 113
denstadnyk
Client
- Регистрация
- 17.07.2014
- Сообщения
- 6
- Благодарностей
- 14
- Баллы
- 3
)))
Aleksandr
Client
- Регистрация
- 04.01.2014
- Сообщения
- 206
- Благодарностей
- 113
- Баллы
- 43
а раньше говорил что ))) а теперь вон оно как господство) боюсь братья четырехлапые не котики конечная цель, тогда что? там дам дам...
мне тоже скрипт
пжлужс какой то а не скрипт )))
вдул ему 27к запросов больше при 16гб озу не сожрал....
шуровал 3 суток. я не выдержал... выключил а счастье было так близко, а может и очень далеко )))))))
вдул ему 27к запросов больше при 16гб озу не сожрал....
шуровал 3 суток. я не выдержал... выключил
а счастье было так близко, а может и очень далеко )))))))
- Регистрация
- 27.12.2012
- Сообщения
- 1 775
- Благодарностей
- 891
- Баллы
- 113
А черт его знает))) чем разреженнее ключи, тем больше работать))) вот у меня 1000 ключей где то час разбиралось, а в личку спрашивали - а если у меня заняло 4 минуты это что то не правильно?))) так что все относительно, но 27 к запросов эт дофига)))ужс какой то а не скрипт )))
вдул ему 27к запросов больше при 16гб озу не сожрал....
шуровал 3 суток. я не выдержал... выключил
да. а у меня так то больше 100к но ладно. я понимаю где косяк. я выдачу не собирал каждому ключу присвоил порядковый номер
а вот можно ли из групп группировать группы?
например я кластеризую ключи. получаю 100 кластеров по 1000 ключей в каждом. можно ли как то все это обобщить и собрать из этих кластеров один большой?
но ладно. я понимаю где косяк. я выдачу не собирал каждому ключу присвоил порядковый номер а вот можно ли из групп группировать группы?
например я кластеризую ключи. получаю 100 кластеров по 1000 ключей в каждом. можно ли как то все это обобщить и собрать из этих кластеров один большой?
Maikl
Новичок
- Регистрация
- 30.05.2013
- Сообщения
- 18
- Благодарностей
- 0
- Баллы
- 1
возможно будет жрать значительно меньше памяти если кодировать url
вместо
самые дешевые проститутки днепропетровска*http://www.liveinternet.ru/tags/%F1%E0%EC%FB%E5+%E4%E5%F8%E5%E2%FB%E5+%EF%F0%EE%F1%F2%E8%F2%F3%F2%EA%E8+%E4%ED%E5%EF%F0%EE%EF%E5%F2%F0%EE%E2%F1%EA%E0/
ставить что то типа
самые дешевые проститутки днепропетровска*SFhbI&@
вместо
самые дешевые проститутки днепропетровска*http://www.liveinternet.ru/tags/%F1%E0%EC%FB%E5+%E4%E5%F8%E5%E2%FB%E5+%EF%F0%EE%F1%F2%E8%F2%F3%F2%EA%E8+%E4%ED%E5%EF%F0%EE%EF%E5%F2%F0%EE%E2%F1%EA%E0/
ставить что то типа
самые дешевые проститутки днепропетровска*SFhbI&@
- Регистрация
- 27.12.2012
- Сообщения
- 1 775
- Благодарностей
- 891
- Баллы
- 113
Да не будет)))
http://joxi.ru/H4MIVP3JTJDvNOO_rQM
даже пустая матрица занимает 37 гигов) Спокойно) решение маячит на горизонте, но если вы его найдете раньше - я не расстроюсь)
http://joxi.ru/H4MIVP3JTJDvNOO_rQM
даже пустая матрица занимает 37 гигов) Спокойно) решение маячит на горизонте, но если вы его найдете раньше - я не расстроюсь)
capturis
Client
- Регистрация
- 21.12.2013
- Сообщения
- 41
- Благодарностей
- 19
- Баллы
- 8
В качестве решения на крайний случай. Берем мать ASRock Z87-Extreme11/ac, вешаем на каждый порт по ssd, raid 0, своп на весь раздел и вуаля - имеем от 1300 гиг "оперативки" с достаточной скоростью. Другой вопрос, оправдается ли такая трата до того, как Lexicon доведет скрипт до ума)))