Название 4-й версии ZennoPoster Mental Power или ZennoPoster MP
Хочу выразить благодарность всем кто тестировал новую версию, благодаря их работе за последний месяц новая версия избавилась от кучи багов, приобрела новые фичи и стала намного стабильнее:
Теперь о новой версии:
Немного поправили определения -теперь шаблон называется проектом, ветка - экшен, шаг - группа экшенов.
IntelliSearch
Это новая фича, которая позволяет:
- очень быстро создавать проект
- писать один проект для большого кол-ва похожих и не очень сайтов.
- повышает устойчивость выполнения проектов, заточенных под один сайт.
По сути это система распознавания полей ввода, кнопок, ссылок и т.д. на сайте. Вы заходите на сайт и, проходя по элементам веб страницы, по очереди указываете к какому классу относится элемент - логин, пароль, кнопка отправки формы и т.д. Далее, заходя на новую веб страницу, система начинает узнавать часть элементов сама, часть вы дообучаете. Чем больше примеров было указано, тем точнее система распознает новые элементы. На самом деле система уже имеет обученную базу, так что она сразу начнет узнавать большинство элементов веб страницы, вам нужно будет только дообучить некоторые. В итоге - берете тысячу сайтов на похожем движке, обучаете на 10 из них, после этого система уже сможет зарегистрироваться на, допустим, 50-ти из 1000, на которых ее не обучали. Дообучаете на некоторых из тех сайтов, которые не пробились, общий пробив повышается и т.д. В итоге можно создать мультипроект, способный обработать тысячи ресурсов.
IntelliSearch в проекте представлен в виде базы, ее можно добавлять в другой проект, дообучать и т.д. Есть установленные классы элементов, но можно добавлять свои.
Firefox движок
Теперь ZennoPoster использует Firefox для эмуляции браузера. Благодаря этому:
+ эмулируется все, что хоть как-то может спалить бота: как в заголовках, так и при запросе параметров из JS (объекты navigator, screen и т.д.)
+ Полное управление DOM моделью
+ возросла устойчивость выполнения проектов
+ уменьшилась нагрузка на процессор
+ в несколько раз уменьшилось потребление оперативной памяти на инстанс
+ уменьшилось число полуоткрытых соединений, открываемых инстансом
+ поддерживаются SOCKS 5
+ очистка всех типов кук (более 10 видов)
+ флаг занятости браузера теперь реагирует на AJAX запросы
Короче, теперь есть полный доступ к любой фиче браузера и это использовано по максимуму
Проксичекер
Если в двух словах - кладет сетевое оборудование
Тестировали на сервере от hetzner.de, выжал 15000 потоков чека, больше не получилось, т.к. там нельзя больше сетевых соединений открыть.
Может чекнуть миллион проксей за несколько минут, главное чтобы сетевое оборудование было хорошее.
Сильно оптимизирован и при нормальной эксплуатации практически не потребляет память и процессорное время.
Переделана база проксей, теперь она хорошо обрабатывает огромные списки проксей и быстро подгружается при открытии программы.
Проксичекер оснащен тестером сети, можно один раз сделать тест, он сам определит максимум потоков, которые можно запустить на вашей системе.
Чекает на все параметры, которые могут понадобиться.
Визуальный редактор
Теперь:
+ поддерживает большие и очень большие проекты
+ миникарта
+ удобные формы редактирования параметров прямо в редакторе, отдельные для каждого типа экшенов
+ можно дописать проект, находящийся в редакторе.
И т.д. и т.п...
Новый интерфейс постера
Выполнен в лучших традициях торрент клиентов
+ можно убрать окна инстансов
+ проект добавляется только один раз и не удаляется при перезапуске программы
+ категории проектов для быстрой ориентации
+ группирование проектов
+ новый шедулер
Эмуляция клавиатуры и мыши
Многие интересные сайты теперь защищаются от ботов, отслеживая, нажимаются ли клавиши при заполнении полей ввода. Эмуляция мыши и клавиатуры поможет обойти эту защиту.
Во-первых, есть встроенная эмуляция, которая работает по дефолту при выполнении проекта, т.е. поля заполняются с помощью эмуляции клавиатуры, кнопки и ссылки кликаются эмуляцией мыши.
Во-вторых можно просто посылать на страницу нужные команды клавиатуры и клики кнопками мыши в указанные координаты.
Еще есть эмуляция мыши с использованием поиска по скриншоту, об этом дальше.
Клик по картинке
Бывает нужно кликнуть по элементу, который не предназначен для клика, например сейчас в гугле используется div как select элемент при регистрации, или нужно кликнуть по флешке в определенное место, например нажать play у видео ютуба и т.д.
Еще у текстовых редакторов (в таком я сейчас пишу этот текст ) иногда нужно кликнуть на одну из его кнопок в панели инструментов. Все это поможет сделать новая фича "клик по картинке". Вызывается она из меню пкм на html странице при записи проекта. Указываете какую часть скриншота искать и куда относительно него кликать. Т.е. можно искать не сам элемент, на который нужно кликнуть, а область страницы рядом с ним, и уже относительно этой области кликать в нужное место.
Фича сильно оптимизирована и жрет не очень много проца.
Статические блоки
У проекта теперь есть статические блоки - это настройки браузера, профиль, настройки эмуляции, таблицы, списки и т.д.
Эти настройки для удобства управления проектом. Отображаются внизу редактора проекта в отдельной форме.
Также отображаются и настраиваются при записи проекта внизу дерева проекта.
Вход, хороший и плохой выходы из проекта.
Проект начинает выполняться с места, указанного специальным элементом "вход", в редакторе он представлен серым кругом. Проект может завершиться с ошибкой или без, поэтому есть еще два выхода - "хороший" и "плохой" после выполнения прокта управление передается на один из них и можно сделать какие-то небольшие финальные действия в зависимости от успешности завершения проекта.
Новые типы данных в проекте
Таблица и список - созданы для удобства работы с данными, особенно с файлами, которые часто надо представлять в виде списков и таблиц. Управляются из статических блоков и обычными экшенами.
Например, можно сразу спарсить все ссылки со страницы в список, отсортировать, удалить дубли и сохранить в файл.
При работе с таблицами поддерживаются таблицы xls, slsx, odt, csv. Поддерживается как чтение, так и запись.
Переменные - чтобы не заморачиваться с макрос-ссылками теперь есть переменные (а макрос ссылок больше нет). В переменные кладутся результаты каких-то действий, для доступа к значению переменной, записывается макрос этой переменной.
Шифрование проектов
Теперь можно зашифровать свой проект и раздавать другим пользователям права таких типов: выполнение, чтение, запись, полный доступ.
Права раздаются по e-mail на который зарегистрирован ZennoPoster
Управление правами происходит из статического блока, добавляемого в проект перетаскиванием из панели инструментов в редакторе.
Обработка почты
+ поддерживает IMAP протокол
+ появилась возможность работать без удаление писем с сервера
Теперь вам в большинстве случаев не нужно составлять никаких регулярных выражений.
Указываете email и пароль, настройки подключения определяются автоматически, скачиваете письма и выбираете по каким признакам искать письмо, если признаки указаны правильно, нужное письмо в списке писем подсветится зеленым. Если по этому признаку находится более одного письма, письма подсветятся красным. Далее выбираете из таблицы, какие данные вам нужны из письма (выбираете чекбоксы в строках с нужным текстов), указываете в какие переменные складывать найденный текст.
Профиль
Для удобства генерации данных для заполнения форм создан профиль. Генерирует данные человека (русского или американца) с правильным статистическим распределением и учетом географии. Например если будет сгенерирован человек из Рязани, его имя, скорее всего будет что-то типа Петр Иванов, а если из Казани, то какой-нибудь Альберт Нургалиев.
Макросы
Макросы теперь только только статичные. Все макросы, глобальные переменные, локальные переменные можно найти в таблице
FTP, SFTP, FTPS
FTP такой FTP. Ничего особенного, обычный FTP
+ управление файлами
+ управление каталогами
Конструктор регулярных выражений
Теперь:
+ подсветка синтаксиса
+ поиск по Ctrl+F
Вызывается теперь из формы подтверждения по e-mail и с помощью кнопки на панели редактора шаблонов.
Логика
+ добавлен switch, т.е. выбор из нескольких вариантов
CodeCreator
Пока не доделан, скоро выйдет и к нему добавится новая фича в проекте.
Там ничего кардинально не поменяется, просто перенесем его на Framework 4
Это не все фичи, некоторые еще не успели доделать, появятся все потихоньку.
Сейчас ZennoPoster будет требовать полный Framework 4 и Framework 3.5
Старые шаблоны в новой версии должны работать, только сохранить их из редактора можно будет только в новом формате
Если программа не запускается, прочитайте это
Хочу выразить благодарность всем кто тестировал новую версию, благодаря их работе за последний месяц новая версия избавилась от кучи багов, приобрела новые фичи и стала намного стабильнее:
7make
aaprotasov
abuser
CSS
dady
daniilneet
daymos
Dezmond2000
dmtet
freeman
GERHARD
gigavat
hop
jason
jkvoka
karrlson
keytri
KirillOFF
Kostass
Lev1athan
MACLAUD
mux76
ncuxfj
nexer
play13
Porosenok
propostaff
quick
RealDiGi
rostonix
schnaps
seroja
shade
steopcik
step85
testuser
tonic
ustas
Бодрый_Лось
aaprotasov
abuser
CSS
dady
daniilneet
daymos
Dezmond2000
dmtet
freeman
GERHARD
gigavat
hop
jason
jkvoka
karrlson
keytri
KirillOFF
Kostass
Lev1athan
MACLAUD
mux76
ncuxfj
nexer
play13
Porosenok
propostaff
quick
RealDiGi
rostonix
schnaps
seroja
shade
steopcik
step85
testuser
tonic
ustas
Бодрый_Лось
Немного поправили определения -теперь шаблон называется проектом, ветка - экшен, шаг - группа экшенов.
IntelliSearch
Это новая фича, которая позволяет:
- очень быстро создавать проект
- писать один проект для большого кол-ва похожих и не очень сайтов.
- повышает устойчивость выполнения проектов, заточенных под один сайт.
По сути это система распознавания полей ввода, кнопок, ссылок и т.д. на сайте. Вы заходите на сайт и, проходя по элементам веб страницы, по очереди указываете к какому классу относится элемент - логин, пароль, кнопка отправки формы и т.д. Далее, заходя на новую веб страницу, система начинает узнавать часть элементов сама, часть вы дообучаете. Чем больше примеров было указано, тем точнее система распознает новые элементы. На самом деле система уже имеет обученную базу, так что она сразу начнет узнавать большинство элементов веб страницы, вам нужно будет только дообучить некоторые. В итоге - берете тысячу сайтов на похожем движке, обучаете на 10 из них, после этого система уже сможет зарегистрироваться на, допустим, 50-ти из 1000, на которых ее не обучали. Дообучаете на некоторых из тех сайтов, которые не пробились, общий пробив повышается и т.д. В итоге можно создать мультипроект, способный обработать тысячи ресурсов.
IntelliSearch в проекте представлен в виде базы, ее можно добавлять в другой проект, дообучать и т.д. Есть установленные классы элементов, но можно добавлять свои.
Firefox движок
Теперь ZennoPoster использует Firefox для эмуляции браузера. Благодаря этому:
+ эмулируется все, что хоть как-то может спалить бота: как в заголовках, так и при запросе параметров из JS (объекты navigator, screen и т.д.)
+ Полное управление DOM моделью
+ возросла устойчивость выполнения проектов
+ уменьшилась нагрузка на процессор
+ в несколько раз уменьшилось потребление оперативной памяти на инстанс
+ уменьшилось число полуоткрытых соединений, открываемых инстансом
+ поддерживаются SOCKS 5
+ очистка всех типов кук (более 10 видов)
+ флаг занятости браузера теперь реагирует на AJAX запросы
Короче, теперь есть полный доступ к любой фиче браузера и это использовано по максимуму
Проксичекер
Если в двух словах - кладет сетевое оборудование
Тестировали на сервере от hetzner.de, выжал 15000 потоков чека, больше не получилось, т.к. там нельзя больше сетевых соединений открыть.
Может чекнуть миллион проксей за несколько минут, главное чтобы сетевое оборудование было хорошее.
Сильно оптимизирован и при нормальной эксплуатации практически не потребляет память и процессорное время.
Переделана база проксей, теперь она хорошо обрабатывает огромные списки проксей и быстро подгружается при открытии программы.
Проксичекер оснащен тестером сети, можно один раз сделать тест, он сам определит максимум потоков, которые можно запустить на вашей системе.
Чекает на все параметры, которые могут понадобиться.
Визуальный редактор
Теперь:
+ поддерживает большие и очень большие проекты
+ миникарта
+ удобные формы редактирования параметров прямо в редакторе, отдельные для каждого типа экшенов
+ можно дописать проект, находящийся в редакторе.
И т.д. и т.п...
Новый интерфейс постера
Выполнен в лучших традициях торрент клиентов
+ можно убрать окна инстансов
+ проект добавляется только один раз и не удаляется при перезапуске программы
+ категории проектов для быстрой ориентации
+ группирование проектов
+ новый шедулер
Эмуляция клавиатуры и мыши
Многие интересные сайты теперь защищаются от ботов, отслеживая, нажимаются ли клавиши при заполнении полей ввода. Эмуляция мыши и клавиатуры поможет обойти эту защиту.
Во-первых, есть встроенная эмуляция, которая работает по дефолту при выполнении проекта, т.е. поля заполняются с помощью эмуляции клавиатуры, кнопки и ссылки кликаются эмуляцией мыши.
Во-вторых можно просто посылать на страницу нужные команды клавиатуры и клики кнопками мыши в указанные координаты.
Еще есть эмуляция мыши с использованием поиска по скриншоту, об этом дальше.
Клик по картинке
Бывает нужно кликнуть по элементу, который не предназначен для клика, например сейчас в гугле используется div как select элемент при регистрации, или нужно кликнуть по флешке в определенное место, например нажать play у видео ютуба и т.д.
Еще у текстовых редакторов (в таком я сейчас пишу этот текст
) иногда нужно кликнуть на одну из его кнопок в панели инструментов. Все это поможет сделать новая фича "клик по картинке". Вызывается она из меню пкм на html странице при записи проекта. Указываете какую часть скриншота искать и куда относительно него кликать. Т.е. можно искать не сам элемент, на который нужно кликнуть, а область страницы рядом с ним, и уже относительно этой области кликать в нужное место.Фича сильно оптимизирована и жрет не очень много проца.
Статические блоки
У проекта теперь есть статические блоки - это настройки браузера, профиль, настройки эмуляции, таблицы, списки и т.д.
Эти настройки для удобства управления проектом. Отображаются внизу редактора проекта в отдельной форме.
Также отображаются и настраиваются при записи проекта внизу дерева проекта.
Вход, хороший и плохой выходы из проекта.
Проект начинает выполняться с места, указанного специальным элементом "вход", в редакторе он представлен серым кругом. Проект может завершиться с ошибкой или без, поэтому есть еще два выхода - "хороший" и "плохой" после выполнения прокта управление передается на один из них и можно сделать какие-то небольшие финальные действия в зависимости от успешности завершения проекта.
Новые типы данных в проекте
Таблица и список - созданы для удобства работы с данными, особенно с файлами, которые часто надо представлять в виде списков и таблиц. Управляются из статических блоков и обычными экшенами.
Например, можно сразу спарсить все ссылки со страницы в список, отсортировать, удалить дубли и сохранить в файл.
При работе с таблицами поддерживаются таблицы xls, slsx, odt, csv. Поддерживается как чтение, так и запись.
Переменные - чтобы не заморачиваться с макрос-ссылками теперь есть переменные (а макрос ссылок больше нет). В переменные кладутся результаты каких-то действий, для доступа к значению переменной, записывается макрос этой переменной.
Шифрование проектов
Теперь можно зашифровать свой проект и раздавать другим пользователям права таких типов: выполнение, чтение, запись, полный доступ.
Права раздаются по e-mail на который зарегистрирован ZennoPoster
Управление правами происходит из статического блока, добавляемого в проект перетаскиванием из панели инструментов в редакторе.
Обработка почты
+ поддерживает IMAP протокол
+ появилась возможность работать без удаление писем с сервера
Теперь вам в большинстве случаев не нужно составлять никаких регулярных выражений.
Указываете email и пароль, настройки подключения определяются автоматически, скачиваете письма и выбираете по каким признакам искать письмо, если признаки указаны правильно, нужное письмо в списке писем подсветится зеленым. Если по этому признаку находится более одного письма, письма подсветятся красным. Далее выбираете из таблицы, какие данные вам нужны из письма (выбираете чекбоксы в строках с нужным текстов), указываете в какие переменные складывать найденный текст.
Профиль
Для удобства генерации данных для заполнения форм создан профиль. Генерирует данные человека (русского или американца) с правильным статистическим распределением и учетом географии. Например если будет сгенерирован человек из Рязани, его имя, скорее всего будет что-то типа Петр Иванов, а если из Казани, то какой-нибудь Альберт Нургалиев.
Макросы
Макросы теперь только только статичные. Все макросы, глобальные переменные, локальные переменные можно найти в таблице
FTP, SFTP, FTPS
FTP такой FTP. Ничего особенного, обычный FTP
+ управление файлами
+ управление каталогами
Конструктор регулярных выражений
Теперь:
+ подсветка синтаксиса
+ поиск по Ctrl+F
Вызывается теперь из формы подтверждения по e-mail и с помощью кнопки на панели редактора шаблонов.
Логика
+ добавлен switch, т.е. выбор из нескольких вариантов
CodeCreator
Пока не доделан, скоро выйдет и к нему добавится новая фича в проекте.
Там ничего кардинально не поменяется, просто перенесем его на Framework 4
Это не все фичи, некоторые еще не успели доделать, появятся все потихоньку.
Сейчас ZennoPoster будет требовать полный Framework 4 и Framework 3.5
Старые шаблоны в новой версии должны работать, только сохранить их из редактора можно будет только в новом формате
Если программа не запускается, прочитайте это
Грузится .. грузится доходит где-то до 180мб в оперативке и тихо грохается процесс без каких либо ошибок... В предыдущей версии ничего такого не было. постер запустился легко.
