Генератор 301-х редиректов на сайт

Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Всем салют!
Решил поучаствовать в конкурсе со своими SEO-шаблонами генерации редиректов на сайт.

Предыстория.
На оптимизацию и продвижение пришел сайт с только что смененной CMS и не настроенными редиректами.
В итоге в выдаче ПС куча дублей (https:// , https://www. , http:// , http://www. , + тоже самое на поддомене.).
Частично какие-то редиректы были сделаны, но настолько небрежно что проще все с нуля сделать.
Собственно идея и возникла как-то это дело автоматизировать.


Общая логика работы

Парсим урлы сайта в индексах Яндекс и Гугл, выгружаем в вебмастере и копируем в файл в папке IN.

01.jpg



Загоняем урл в первый шаблон 01 PingPageSite_v.1 . Он начинает скачивать заголовки страниц и сохранять все редиректы и коды ответа сервера в таблицу.
02.jpg


Колонки в таблице
1. Код ответа.
2. Стартовый урл, по которому программа скачивает заголовки.
3-4. Промежуточные редиректы.*
5. Финальный урл.*
*Колонок может быть и больше.

Второй шаблон из таблицы берет данные и уже он генерирует редиректы для вставки в htaccess.
03.jpg




Файлы и папки
IN
– содержит файл с урл из выдачи ПС.
ссылки на вход.txt

OUT
– сохраняется xlsx таблица и готовые файл с редиректами.
Книга1.xlsx – таблица с данными.
Redirects 09-10-2020_05-06-41.txt – готовый файл с редиректами. В названии подставляется время генерации.

shab – папка содержит файл с шаблоном для редиректа.
shab_red.txt

01 PingPageSite_v.1.xmlz
– качалка заголовков страниц.
02 Gen_redirekt_v.1.xmlz – генератор редиректов.



Входящие настройки шаблонов

01 PingPageSite_v.1.xmlz

05.jpg

Включаем фильтрацию спец символов. Что бы какой-нибудь урл поиска товаров не попал в обработку.


02 Gen_redirekt_v.1.xmlz
04.jpg


Шаблон редиректа
– указываем файл шаблона редиректа.
Обрезаем http(s)://domen.ru – регулярка для обрезки домена из урл.
Редирект при 403 и 404 – указываем куда сделать редирект при 404 и других ошибках.
XLSX файл на вход – указываем файл с таблицей на вход.



Бонус
В архиве два парсера Яндекс XML и Google (XML River).
Там все просто. Добавляете в настройки логины\ключи, в файл, в папке IN, ключи запросов.
Примеры в файлах есть.
И вперед.

Все шаблоны работают в цикле, в одном потоке.
 
Категория
Генерация, SEO
Номер конкурса шаблонов
Шестой конкурс шаблонов
Уровень сложности
Средний

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

Iv1

Client
Регистрация
21.02.2016
Сообщения
1 910
Благодарностей
747
Баллы
113
Реализация установки региональности через GET параметры для google что-то не нашел в шаблонах...
Тема давняя, но не видел чтобы кто-то заморочился на реализацию.
Или это просто бонусное напоминание что так тоже можно?
 
Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Реализация установки региональности через GET параметры для google что-то не нашел в шаблонах...
Забыл удалить папку))
Это осталось когда что-то по регионам парсил через XMLRiver.
Закачал архив без той папки.
 

Iv1

Client
Регистрация
21.02.2016
Сообщения
1 910
Благодарностей
747
Баллы
113
Забыл удалить папку))
Это осталось когда что-то по регионам парсил через XMLRiver.
Закачал архив без той папки.
А есть реализация?
Хочется потестить эффективность - но надо пилить, а это время
 
Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Так в админке XMLRiver регионы настраиваются.
 
  • Спасибо
Реакции: DoReMi

DoReMi

Пользователь
Регистрация
26.06.2017
Сообщения
72
Благодарностей
6
Баллы
8
Так в админке XMLRiver регионы настраиваются.
Добрый день уважаемый автор, полез немного разбираться в чужих шаблонах, чтобы понять как надо писать, ну вообщем наткнулся на Ваш шаблон, он мне по тематике подходит

Возникло пару вопросов

1. Вопрос 1 в скрине
2. Вопрос 2 в скрине

P/S за шаблоны спасибо, понятно как работать с выдачей, на всякий случай еще прикреплю доп. инфу к теме

а. Справка Яндекс по XML - https://yandex.ru/dev/xml/doc/dg/concepts/get-request.html
б. Доп. инфа о том как работать с XMLRiver для Google - https://xmlstock.com/?do=google-help
 

Вложения

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)