Перепост на доску объявлений товаров из магазина или СРА офферов

sipoku

Client
Регистрация
04.04.2010
Сообщения
243
Благодарностей
131
Баллы
43
Приветствую, уважаемые!


Раньше я занимался написанием шаблонов на заказ под ником Chuwaka. Сейчас моя деятельность связана с добычей трафика на свои интернет-магазины. С недавнего времени начал заниматься добычей трафика на CPA офферы. В качестве темы для своей статьи я выбрал шаблон, который поможет мне в обоих направлениях. У меня старая версия Zennoposter'а (4.3.5.0) и я, к сожалению, уже продолжительное время не следил за обновлениями программы, за нововведениями. Поэтому не удивляйтесь моим методам работы с Зенной, возможно они вам покажутся олдскульнимы. Но разобраться в моих шаблонах просто, так как все ветки имеют осмысленные заголовки.


Итак, что мы будем делать?

1. Соберем все страницы нашего магазина из файла sitemap.xml. У каждой CMS сейчас есть модуль генерации этого файла. Формат у него единый.

2. Пройдемся по каждой странице и соберем данные (Заголовок, Мета-тег description, Картинку товара (по желанию) и Цену товара (по желанию)).

3. Зарегистрируем несколько аккаунтов на доске объявлений Ukrboard.com.ua.

4. Запостим все наши товары на эту доску.


Если вы думаете, что нифига интересного тут нет, то вы не одиноки. Я тоже так подумал. И решил чуток усложнить задачу и добавить несколько плюшек.

1. В Украине n-е количество областей. В каждой области множество городов. И мы запостим объявление на подоску каждого из них! При этом к заголовку объявления (названию нашего товара) добавляется название города. Отсюда выше позиции объявления в выдаче по этому городу и выше лояльность посетителей к объявлению.

2. Мы сохраним URL каждого добавленного объявления, ссылку на его редактирование, и информацию о том, в какой аккаунт оно было добавлено. Зачем? Объявления можно проспамить для продвижения в ТОП. Или простеньким шаблоном пройтись и поменять цены на определенный товар в вашем магазине. Или информации добавить в описание…

Нормально? Приступаем.


1. Собираем страницы нашего магазина
Для сбора страниц я выбрал файл sitemap.xml, как самый быстрый и универсальный способ парсинга всех страниц сайта. Шаблон 1. Sitemap_url_parser.xmlz во вложении берет нашу карту сайта, собирает все ссылки и чистит дубли (не знаю как у вас, но у меня некоторые ссылки почему-то дублировались в нем несколько раз).

Для сбора необходимо:
  • вставить в файл \data\sitemap_url.txt ссылку на файл карты сайта;
  • запустить шаблон 1. Sitemap_url_parser.xmlz.

Он отрабатывает очень быстро. В результате в файле \data\website_urls_parsed.txt получаем ссылки на страницы нашего сайта без дублей. Удаляем лишние страницы из файла (главную, контакты, инфостраницы и рубрики, оставляя только товары).


2. Собираем информацию по нашим товарам в базу
Я хотел бы найти универсальный способ парсинга описаний товаров с любого магазина, но, увы, мне пришлось ограничиться теми данными, которые есть у 90-95% магазинов. А именно:
  • Заголовок страницы товара (все, что между <title></title>). Некоторые добавляют к названиям товара название сайта или другой фиксированный текст. В этом случае вам нужно будет автозаменой пройтись по базе и удалить эту приставку, так как на доске объявлений она не нужна и может стать причиной удаления объявлений. Заголовок страницы товара будет у нас заголовком объявления.
  • Мета-тег <meta name="description"...>. Эту информацию мы используем в качестве описания товара на доске объявлений. Точнее, как часть описания. Его мы разбавим заготовленным текстом, чтобы получить более-менее полное объявление. Регулярку для выдирания содержимого этого мета-тега я сохранил первой строкой в файле \data\regexp.txt. Бывает, программисты по-еврейски пишут эту строку, заглавными буквами, со слешами перед закрывающимся тегом… Для большинства случаев менять эту регулярку не придется.
  • Картинки. К сожалению, я также не знаю универсального способа парсинга картинки товара с любого магазина. Поэтому эту часть автоматизировать, увы, не могу. Но если вы умеете пользоваться Конструктором регулярок, то сможете создать регулярку для парсинга нужной картинки с карточки товара вашего магазина. Эту регулярку нужно будет вставить в этот файл - \data\regexp.txt во второй строке после image::. Моя регулярка выглядит так - (?<="image"><a\ href=").*?(?="). Если оставите это место пустым, картинки собираться не будут, столбик с именами картинок в базе будет содержать фразу «no_image». Ну и картинки не будут скачиваться. При добавлении товара в базу для него генерируется уникальный ID, и место, где будет располагаться картинка товара будет имет следующий путь \images\АйДи_Товара\. Это сделано на перспективу. Возможно придется уникализировать фотографии товара в будущем.
  • Цены. Работа с ценой организована по такому же принципу. В файле \data\regexp.txt третья строка содержит регулярку для парсинга цены со страницы товара. Если указываем её, в столбике цены будет стоимость товара. Если оставляем пустым значение, в столбце против каждого товара будет написано «no_price».

Шаблон будет брать УРЛы из сформированного на первом шаге файла \data\website_urls_parsed.txt, удаляя строчки из файла. Результат парсинга будет сохраняться в файл \parsed\parser_from_website.xls, а картинки товаров будут сохраняться в папки \images\Уникальный_АйДи_Товара\. Айдишник товара генерируется при добавлении товара в базу и служит для удобства идентификации товара.



Небольшое отступление.

Возможно, вам будет интересно просто запостить один и тот же товар этим шаблоном в подоски каждого города. Картинки в этом случае вам собирать не нужно. Сохраните в папке \images\Уникальный_АйДи_Товара\ фото товара и укажите его имя в соответствующем столбике в базе. С каждым запуском шаблон будет брать случайную область и случайный город в этой области. Город из файла при этом удаляется. Поэтому рано или поздно все файлы областей останутся пустыми. Это будет значить, что мы запостили наш товар в каждый город каждой области.

При добавлении одного и того же товара в разные города я столкнулся с такой проблемой. Не разрешено в один и тот же аккаунт добавлять объявления с одинаковыми заголовками (даже в разные города). Пришлось добавить функцию уникализации заголовка ренерируемым артикулом. Если при добавлении объявления система выдает соответствующую ошибку, шаблон редактирует заголовок объявления, добавляя к нему « (арт: 11111)», где 11111 – 5 случайных цифр. Объявление успешно добавляется, мы работаем дальше.


Тут же расскажу, как этот шаблон будет полезен CPAщикам. Доски объявлений – прекрасное бесплатное место для сбора поискового и не только поискового трафа. Крупные доски объявлений (типа OLX и пр.) удаляют объявления со ссылками на сторонние сайты. Доски попроще такой фигней не занимаются. Так что можно смело использовать шаблон для продвижения плоек, увеличителей и уменьшителей различных частей тела и прочей чепухи. Простым шаблоном можно собрать всю необходимую для базы информацию обо всех офферах. В течение 1-2 дней я напишу шаблон-парсер из одной из популярных сетей в нужный формат для постера и попрошу прилепить к теме.


3. Регистрируем аккаунты на доске Ukrboard.com.ua
На входе для регистрации аккаунтов нам потребуются имейлы на Mail.ru и номера мобильных (если рекламировать будем свои товары). Имейлы в формате [email protected]:pass складываем в этот файл \data\mail.ru_accs.txt. Для небольших магазинов хватит и 3-5 аккаунтов. В описании доски указано, что в один аккаунт можно добавить около 600 объявлений.


С мобильными номерами 2 варианта работы. Если мы будем постить объявления со своего магазина, нам вероятнее всего необходимо, чтобы номер мобильного в аккаунте был указан наш. К счастью четкого формата программисты не предусмотрели, поэтому мы можем один и тот же номер написать множеством вариантов (111-222-33-44, 1112223344, 111222-33-44…). Все эти варианты нужно сохранить построчно в файл \data\phones.txt. Вариантов нужно столько же, сколько имейлов.

Если вы собираетесь добавлять объявления не от своего магазина, а, к примеру, CPA офферы рекламировать, тогда телефоны можно генерировать случайные. Чтобы использовать этот вариант, оставьте файл \data\phones.txt пустым!

Распознавание каптчи оставил ручным. Не вижу смысла в Антикапче при малом количестве акков.


4. Подготовка контента перед постингом
Основную работу по сбору контента для объявлений за нас сделает второй шаблон. Если мы укажем ему регулярки для сбора информации с нашего магазина, он создаст уникальный ID для каждого товара, сохранит название товара, его краткое описание, картинку и стоимость.

Области и города, с которыми работает данная доска объявлений, я уже собрал. В папке \data\city\ размещены текстовые файлы с названиями областей (имена не меняйте, формат важен!). В каждом файле список городов этой области. Так как в процессе работы строки из этих файлов будут удаляться, папкой выше я разместил архив с изначальными данными (city.rar). Когда запостим во все города, можно заново распаковать его содержимое в папку \data\city\. Если мы хотим запостить все наши файлы только в подоску одного города, тогда удаляем все остальные области и оставляем внутри нужной только строку с нужным городом. Вроде просто, правда?

В папке \data\ я разместил несколько служебных файлов, информация из которых будет использоваться для работы с доской. Настройки в этих файлах позволяют сделать работу с доской удобной и эффективной, превращая Зеннопостер в крутой комбайн с гибким управлением.


Подробнее о содержимом файлов.

\data\ad_type.txt – содержит одну строку; здесь мы указываем Тип объявления. Для большинства случаев там должен быть текст «Продам». Следите за кодировкой файла, она должна быть UTF-8.

\data\category.xls – содержит рубрики, в которые мы будем добавлять объявления. Если файл оставить пустым, шаблон воспользуется удобной функцией доски по автоопределению рубрики. Выбирает более-менее адекватно. Если нужно задать рубрику, то 1-я строка – Главная рубрика (примеры в папке \category\), 2-я строка – второй уровень вложенности, 3-я – третий уровень вложенности (его может не быть для некоторых товаров; тогда оставляем строку пустой). ВАЖНО! Текст рубрики нужно задавать так, как он задается на сайте (без html элементов). Примеры в папке \category\.

\data\pause.txt – содержит настройки паузы между добавлением объявлений. По умолчанию от 10 до 30 секунд.

\data\spintax.txt - файл содержит подготовленные тексты для размножения (Spintax). Тексты вроде «{Мама|Бабушка|Тётя|Знакомая} мыла {раму|стол|окна|кошку}» уникализируют наши объявления и в глазах админов доски, и в глазах поисковых систем. Уникальный контент ведь всегда лучше. Да и объем контента в мета-теге description обычно довольно мал. Все содержимое файла будет множиться через Spintax и вставляться в текст объявления после краткого описания товара. Кодировка файла должна быть UTF-8. Если где-либо в тексте вы вставите следующую конструкцию – [link], то вместо неё в текст объявления вставится ссылка на товар из базы. Если файл оставить пустым, в качестве текста объявления будет использоваться только текст из мета-тега Description, который мы собирали ранее.

Вот и все, что связано с добавлением объявлений. Получился удобный функциональный инструмент для работы с доской объявлений. Удобно выгружать контент из магазина и удобно постить его или любой другой на страницы доски.


Пару слов о логировании. Основные этапы работы шаблона (где могут быть ошибки), имеют соответствующие ответвления для логирования. Если шаблону не удалось залогиниться в какой-то акк, в логе будет указана ошибка авторизации и данные для доступа к акку для проверки. Если после добавления объявления оно не добавилось, в лог запишется ошибка Posting error. В общем, ничего интересного, но информативно.

Лог успешных добавлений более интересен. Здесь мы сохраним все, что может нам понадобиться в будущем. Формат файла и его содержимое:



Для теста, после завершения работы над постером я добавил несколько объявлений. Менее, чем за 12 часов они обросли небольшим количеством просмотров. А значит, все это было не зря.

Честно говоря, к моменту аппрува статьи, я пропостился масшатабнее. До 40 просмотров у каждого объявления меньше, чем за сутки. Возможно, имеет смысл отыскать наиболее посещаемые рубрики доски и постить товары конкретно в них. Тестируйте.


Показатели трафа у доски следующие (скрин сделан в 11 утра):



Вот такой комбайн можно получить, используя Зеннопостер и мозг. Развивать этот шаблон можно еще долго. Посмотрим на результаты конкурса и голосования. Наверное, добавлю использование не одной фотки товара, а множества уникализированных. И, скорее всего, стоит уникализировать название товара более серьезно (Spintax добавить). Буду обновлять.

P.S. Пока ждал аппрува статьи, немного подрихтовал шаблоны. Заметил удаление объявлений по автоматическому алгоритму доски. Указали использование одинаковых фоток для товаров. Сомневаюсь, что они прям уникальность проверяют. Поэтому сделал следующее: при добавлении товара шаблон берет его картинку, копирует, переименовывает копию в абракадабру, добавляет и сразу удаляет. Пока полет нормальный, блокировок нет. Во вложении уже обновленные шаблоны. Скоро сделаю парсилку из СРА сетки какой-нибудь (чтобы не быть голословным и не зря слово "СРА" в заголовке было).
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 709
Благодарностей
971
Баллы
113
Интересная статья, а без досок сколько будет посещалка?
 

Danny

Client
Регистрация
29.09.2014
Сообщения
715
Благодарностей
155
Баллы
43
Интересная статья, а без досок сколько будет посещалка?
Так это посещалка доски объявлений, а не инет-магазина ))

ТС, спасибо за статью.
Единственное, данная тема очень "боится" конкуренции и массовости.
Так что полномасштабно поработать многим, думаю, не получится.
Когда начнутся массовые заливания объявлений на определенные доски, то однозначно усложнят процедуру регистрации и урежут кол-во объявлений на аккаунт.
Кроме этого, переходов будет гораздо меньше, когда даже 10 человек будут постить на одну доску с помощью Зенки объявления схожих тематик.
 
Последнее редактирование:

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 709
Благодарностей
971
Баллы
113
ааа)) думал вы с доски столько налили)) а с самой доски сколько переходов примерно в сутки?
 

sipoku

Client
Регистрация
04.04.2010
Сообщения
243
Благодарностей
131
Баллы
43
Эта доска - не лидер рынка. Мне кажется они борятся за каждое объявление, рекламу в контексте покупают. Каждое объявление для них - дополнительная страница под рекламу, дополнительный поисковой трафик. Определенно стоит нарегать аккаунтов впрок.

Я за неё взялся, так как в ТОП10 Гугла по названию товара из СРА партнерки нашел объявление на ней. Текст из партнерки, в описании ссылка через шортлинк с УТМ метками. Сегодня завтра сделаю парсер ооферов из ПП и залью объявления. Думаю, до конца голосования увидим стату.
 
  • Спасибо
Реакции: Danny

azamat

Client
Регистрация
06.04.2014
Сообщения
17
Благодарностей
3
Баллы
3
Для Украины это самая посещаемая доска объявлений?
 

Danny

Client
Регистрация
29.09.2014
Сообщения
715
Благодарностей
155
Баллы
43
Я думаю, что для участников форума будет даже полезнее не называть точные названия досок объявлений при обсуждении, т.к. иначе заспамятся все за неделю.
А находить их при желании не составляет большого труда ))
 

seomiks

Client
Регистрация
13.09.2014
Сообщения
371
Благодарностей
123
Баллы
43
Хорошая статья с казахстаном работал, тоже получилось заработать немного)
 

seomiks

Client
Регистрация
13.09.2014
Сообщения
371
Благодарностей
123
Баллы
43
Я хотел бы найти универсальный способ парсинга описаний товаров с любого магазина, но, увы, мне пришлось ограничиться теми данными, которые есть у 90-95% магазинов. А именно:
  • Заголовок страницы товара
  • Мета-тег <meta name="description"...>
  • Картинки.
  • Цены.
Я создавал свой интернет магазин, потом парсил зенкой урлы товаров и потом уже Контент Довландером парсил и доводил до ума спарсеный контент. CD очень удобная вещь. Еще можно лить непосредствено на магазин ЦПА офер, (в Адмитад) уже есть готовые ЦСВ и ХМЛ файлы с товаром описанием и т.п.
 

sipoku

Client
Регистрация
04.04.2010
Сообщения
243
Благодарностей
131
Баллы
43
Для Украины это самая посещаемая доска объявлений?
Не самая. Самая крупная - OLX, но там очень жёстко с модерацией. Ручная модерация каждого объявления и 1 мобильный=1 акк. Номеров не напасешься на эту доску.

Я создавал свой интернет магазин, потом парсил зенкой урлы товаров и потом уже Контент Довландером парсил и доводил до ума спарсеный контент. CD очень удобная вещь. Еще можно лить непосредствено на магазин ЦПА офер, (в Адмитад) уже есть готовые ЦСВ и ХМЛ файлы с товаром описанием и т.п.
Кстати, спасибо за совет. Распарсить xml и csv отдельных магазинов это отличный вариант.

Скоро обновлю вложение интересными плюшками)
 
Последнее редактирование:

sekoan

Client
Регистрация
04.01.2015
Сообщения
216
Благодарностей
92
Баллы
28
Ребят, есть у кого нормальный много-темный шаблон Интернет Магазина, хочу залить товары - сантехнику. Куплю за 2000р
Оплачу 500р сразу, остальное как только получу первую прибыль) Пожалуйста в личку... Предложение актуально до 23.05.2015 Данный сайт будет фигурировать только по Москве
 

sipoku

Client
Регистрация
04.04.2010
Сообщения
243
Благодарностей
131
Баллы
43
а про это подробнее можно ?
Я сейчас это реализовываю (отдельный шаблон генерации ссылок с утм-метками). Берется каждая ссылка на товар, в генераторе UTM меток генерим ссылку для Аналитики, показывая, что переходы будут с такой-то доски, с такого-то объявления. И укорачиваем ссылку с помощью Goo.gl или ему подобных.
 

Danny

Client
Регистрация
29.09.2014
Сообщения
715
Благодарностей
155
Баллы
43
А шаблоном генерации utm меток поделитесь? )
 

AZANIR

Client
Регистрация
09.06.2014
Сообщения
403
Благодарностей
185
Баллы
43
Я сейчас это реализовываю (отдельный шаблон генерации ссылок с утм-метками). Берется каждая ссылка на товар, в генераторе UTM меток генерим ссылку для Аналитики, показывая, что переходы будут с такой-то доски, с такого-то объявления. И укорачиваем ссылку с помощью Goo.gl или ему подобных.
а гогл не режет пп линк ?
 

sipoku

Client
Регистрация
04.04.2010
Сообщения
243
Благодарностей
131
Баллы
43
Так Google никакого отношения не имеет к объявлениям и ссылкам в них на доске объявлений. Это делается лишь для удобной аналитики, чтобы увидеть будут ли люди копировать ссылку и переходить по ней.

А шаблоном генерации utm меток поделитесь? )
Да, конечно. Я выложу здесь все шаблоны, связанные с этим проектом.
 
  • Спасибо
Реакции: Danny

Danny

Client
Регистрация
29.09.2014
Сообщения
715
Благодарностей
155
Баллы
43
Кстати, да, goo.gl иногда вырезает метки в урлах, поэтому даже в некоторых ПП обращают внимание, чтобы через этот сокращатель не пользоваться.
 
  • Спасибо
Реакции: AZANIR

AZANIR

Client
Регистрация
09.06.2014
Сообщения
403
Благодарностей
185
Баллы
43
Кстати, да, goo.gl иногда вырезает метки в урлах, поэтому даже в некоторых ПП обращают внимание, чтобы через этот сокращатель не пользоваться.
это и имелось ввиду
 

Parkho

Client
Регистрация
20.06.2014
Сообщения
131
Благодарностей
16
Баллы
18
Гугль может ссылку пп порезать, в итоге нальете на товарки бесплатного трафа)
 

seomiks

Client
Регистрация
13.09.2014
Сообщения
371
Благодарностей
123
Баллы
43
А как проверить обрезал или нет? Через сниффер это возможно?
 

Parkho

Client
Регистрация
20.06.2014
Сообщения
131
Благодарностей
16
Баллы
18
Пройти по ссылке и посмотреть, будет в статистике пп клик или нет. Через сниффер по идее тоже все редиректы можно проследить
 
  • Спасибо
Реакции: seomiks

Valiksim

Client
Регистрация
14.04.2012
Сообщения
1 347
Благодарностей
294
Баллы
83
Сокращалка Гугле ещё и банит партнёрские ссылки. В первую очередь те, которые не прямые, а с редиректом. А таких много в ПП
 

sipoku

Client
Регистрация
04.04.2010
Сообщения
243
Благодарностей
131
Баллы
43
Обновляемся.

1. Добавил шаблон создания шортурлов для линков в базе. Никаких лишних действий. Шаблон берет из базы урл товара, делает шортурл через сервис API сервиса t.co.ua (мы же в украинскую доску постим) и записывает укороченную ссылку в базу другим столбцом. Если столбец с шортурлами пустой, будет браться основной урл, если он заполнен для товара, будет браться шортурл. Шаблон - 3.2. ShortURL_t.co.ua_api.xmlz. Для работы нужно зарегистрироваться на сервисе, в настройках взять ключ API и вставить в конфиг-файл \data\ShortUrl_config.txt. Вторая строка отвечает за слово, которое будет основой для шортурла. Мой магазин предлагает электрошокеры, поэтому ссылка будет выглядеть для пользователя логичнее, если будет выглядеть следующим образом - t.co.ua/Shoker1111 (шаблон в качестве этого текста берет указанное вами слово из конфига и добавляет 4 случайные цифры).
ПРИМЕЧАНИЕ! Реализовал на базе этого же шаблона генератор UTM-меток. Если в файле \data\ShortUrl_config.txt заполнить необходимые поля (utm1, utm2, utm3), то шаблон "укоротит" сразу сгенерированные ссылки.

2. Добавил в базу столбцы с текстом для спина Названия товара и Короткого описания товара. Зачем? Дабы круче рандомизировать объявления и охватить НЧ траф по товару. Обязаловку при использовании этих полей делать не стал. Если в столбцах есть значения, шаблон спиннит их и использует. Если пусто - берет дефолтные значения. Так теперь выглядит файл базы:


Проверил. Прекрасно работает. Завтра-послезавтра посмотрим, что эта доска сможет нам дать для работы с СРА. Сделаю шаблон стягивания инфы по офферам из одной из ТОПовых партнерок. Будем постить на доску.
 

Вложения

  • Спасибо
Реакции: Danny и AlisaZ

AlisaZ

Client
Регистрация
17.09.2014
Сообщения
104
Благодарностей
140
Баллы
43
Вот арбитражникам пофортило - кило печенья в рот :dv:

Обновы пошли !!!!
 

jonvy

Client
Регистрация
28.11.2015
Сообщения
293
Благодарностей
16
Баллы
18
Как у вас получилось сократить ссылки? У меня в ссылке всё что дальше & ни гет, ни пост запросом не передаётся
 

jonvy

Client
Регистрация
28.11.2015
Сообщения
293
Благодарностей
16
Баллы
18
Проще говоря ссыль сокращается без нужных мне хвостов
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)