Результаты поиска

Привет! Есть в планах взять шаб. У меня вопросы: 1) есть задача - переводить готовые статьи вместе с html тегами (h2,h3,ul,ol,p,strong,br и тд) и на выходе получать 100% переведенную статью с теми же хтмл тегами в тех же местах. Сам тестировал дипл - он очень не любит html. при наличии тега...

Отличные прокси и самый отзывчивый саппорт. Взял прокси под рекапчу2 + тестирую парсинг с этих же проксей - все летает.

Взял доступ к ipv6 прокси на тестирование

Не подгружает гугл на запросах то, что мне нужно. Выше писал уже - только браузер.

Перебор мобильных проксей и нагуленных профилей с юзерагентами и футпринтами? Я тоже так наверное могу. Нужно именно с браузера со всем подгрузками и не мобильную версию.

После чего пауза? Капча прилетает сразу на первом шаге. Даже с нагугленными профилями. В одном круге поставил 5 запросов гуглу. Капчу показывает 1-2 раза за это время. Между запросами пауза и эмуляция мыши.

Примерно 20-50к запросов в сутки Но стабильно и в течении долгого периода Мне для начала и 10к хватит в сутки, в принципе. Парсинг только первой страницы.

Ради интереса практически ручками качал один профиль почти час. Ходил подолгу по сайтам, листал, гуглил. Так вот с этого профиля капчу гугл просит значительно реже при любых проксях. Без профиля капча херачит на каждый запрос в гугл + прокси, даже приличный через некоторое время в бан попадает...

Спустя пару дней понял: 1 - Прокачка профилей и куков не имеет смысла (возможно я что то делаю не так) 2 - На платных проксях (proxy6) капчу требует прям сходу и каждые 2 минуты Как вы работаете? Где берете нормальные прокси?

Всем привет! Работаю над шаблоном парсинга выдачи гугла. Задача зайти только на первую страницу выдачи по кею и взять то что нужно. Что нужно учесть, что бы гугл вместо "здравствуйте" не кидал рекапчу, но при этом юзать паблик прокси? Понятно, что придется достаточно активно перебирать прокси...

Спасибо буду пробовать тоже

Я нечто подобное пытался создать, но не пошло. Теперь прояснилось многое, буду пробовать Спасибо!

Я не пробовал, возможно наладиться все)) Я ваши сообщения не раз в подобных темах встречал, так понял с глобальной переменной вопрос решаете, но я, честно говоря, не понял как именно.

я так и понял уже, спасибо

А что делать, если и так работы очень много и не просто все успевать? В БД не шарю, поэтому искал другие варианты. Если вариантов нет, буду разбираться. Варианты с 2мя списками - не помогли Варианты с взял, записал, все остальное дальше - не помогли Варианты с проверил, взял, поставил галку что...

Не пошел вариант с двумя списками - та же история. Обязательно один дублирующий лезет.

А что если бэдэнд не сработает? https://zennolab.com/discussion/threads/mnogopotok-kak-uznat-s-kakimi-akkauntami-rabotajut-drugie-potoki.40184/#post-299071 Логичен такой вариант, но что если комп зависнет, перезагрузится, работу зенки принудительно остановят? Вот я сразу решил потестить этот...

Всем привет! Уже не первый день перелопачиваю форум, но так и не нашел внятного решения. При работе в многопотоке (в данном случае 5 потоков) необходимо чтобы каждый поток брал один аккаунт из файла без дублирования - в файле 5 аккаунтов. Время работы каждого потока сильно варьируется. Решение...

Как раз знаю сколько точно нужно. Все работает, спасибо большое!

Всем привет! Никак не могу уговорить кубик Java работать с такими числами 0.00000123 пример (переменная А) - (переменная B) 0.00007243-0.00007104 в кубике ява ставлю {-Variable.A-}-{-Variable.B-} Зачем то появляется куча лишних цифр 0.0000013899999999999986 А через раз получается какая то...

Значит стоит переделать. Шаблон через логические ветки будет переходить к проектам по одному. Спасибо!

Всем привет! Пилю очередной комбайн и что то он получается уж слишком громоздким. Фичу проект в проекте практически не юзал, но сейчас чувствую, что не обойтись без этого. Не будет ли зависать шаблон если через 50+ логических "если" шаб будет выходить на 50+ проектов в проекте. Сам бы...

Точно так же вопрос решился с переходом на другой сервер. Летает в 30 потоков без проблем (больше и не надо мне). Причем параметры такие же, но работать стало на ура. Так же систему другую поставил на новом сервере - вместо вин 2008 сервер R2 решил попробовать вин 2012 сервер R2. Непривычно...

Все это я пробовал крутить в разные стороны - результат всегда один. PS: периодически стал подниматься до 5 потоков. Но только периодически, а затем снова либо 1 поток, либо вообще 0. Магия

Сюда в первую очередь залазил - стоит 100 Все поднято до предела. И опускать пробовал и все пробовал :bc:

Всем привет! Перелопатил форум, но так и не нашел решения по свой проблеме. Взял временно средненький вирт по сути только ради этого шаба. KVM HDD Cuprum Plus 3 СPU/4 GB RAM Шаблон не хочет запускаться на серваке больше 2-3х потоков, а чаще всего только в 1 поток, а порой и 0, сколько бы я не...

Проблему решил привязкой списка к текстовому файлу с соответствующей кодировкой. Не думал, что сработает ) Всем спасибо

Мне кажется это не самый удобный вариант, какой то более логичное решение нужно.

Всем привет. Возникла проблема - необходимо из папки поочередно достать все текстовые файлы и переделать их. в названиях файлов часто встречаются не латинские буквы из различных евро языков типа французского, испанского и тд (é,ö и тд). В этом случае в директории просто не находится данный файл...

Эх жаль, что не магия, хотя иногда зенка почти волшебство. Я все такие попытаюсь в одном запихать сколько влезет.

Да там вся фишка в том, что если шаблон находит определенные условия на странице, он выполняет одну последовательность, если другие условия, другую последовательность действий. Сами последовательности не очень длинные, но их получается много. И шаблон грузиться как-то долго из-за этого. Не могу...

В процессе реализации одной задумки столкнулся с очень большими размерами шаблона (оч много шагов получается). Поделить на мелкие шаблончики было бы неплохо, но тут вся фишка в том, что все должно в одном. Там везде и всюду логические "если" и тд. Нет ли такой фичи, что бы в шаблоне можно было...

Спасибо большое - все работает.

Помогите пожалуйста с регуляркой: Делая парсер сниппетов гугла столкнулся с проблемой частого упоминания названия доменов в сниппетах. Например: JapaneseCarTrade.Com Portal of used cars... Use Cars.com to search 2.6 million... Наверно подойдет регулярка, которая будет находить в тексте слова...