Генератор 301-х редиректов на сайт

Регистрация
12.07.2014
Сообщения
916
Благодарностей
354
Баллы
63
Всем салют!
Решил поучаствовать в конкурсе со своими SEO-шаблонами генерации редиректов на сайт.

Предыстория.
На оптимизацию и продвижение пришел сайт с только что смененной CMS и не настроенными редиректами.
В итоге в выдаче ПС куча дублей (https:// , https://www. , http:// , http://www. , + тоже самое на поддомене.).
Частично какие-то редиректы были сделаны, но настолько небрежно что проще все с нуля сделать.
Собственно идея и возникла как-то это дело автоматизировать.


Общая логика работы

Парсим урлы сайта в индексах Яндекс и Гугл, выгружаем в вебмастере и копируем в файл в папке IN.

01.jpg



Загоняем урл в первый шаблон 01 PingPageSite_v.1 . Он начинает скачивать заголовки страниц и сохранять все редиректы и коды ответа сервера в таблицу.
02.jpg


Колонки в таблице
1. Код ответа.
2. Стартовый урл, по которому программа скачивает заголовки.
3-4. Промежуточные редиректы.*
5. Финальный урл.*
*Колонок может быть и больше.

Второй шаблон из таблицы берет данные и уже он генерирует редиректы для вставки в htaccess.
03.jpg




Файлы и папки
IN
– содержит файл с урл из выдачи ПС.
ссылки на вход.txt

OUT
– сохраняется xlsx таблица и готовые файл с редиректами.
Книга1.xlsx – таблица с данными.
Redirects 09-10-2020_05-06-41.txt – готовый файл с редиректами. В названии подставляется время генерации.

shab – папка содержит файл с шаблоном для редиректа.
shab_red.txt

01 PingPageSite_v.1.xmlz
– качалка заголовков страниц.
02 Gen_redirekt_v.1.xmlz – генератор редиректов.



Входящие настройки шаблонов

01 PingPageSite_v.1.xmlz

05.jpg

Включаем фильтрацию спец символов. Что бы какой-нибудь урл поиска товаров не попал в обработку.


02 Gen_redirekt_v.1.xmlz
04.jpg


Шаблон редиректа
– указываем файл шаблона редиректа.
Обрезаем http(s)://domen.ru – регулярка для обрезки домена из урл.
Редирект при 403 и 404 – указываем куда сделать редирект при 404 и других ошибках.
XLSX файл на вход – указываем файл с таблицей на вход.



Бонус
В архиве два парсера Яндекс XML и Google (XML River).
Там все просто. Добавляете в настройки логины\ключи, в файл, в папке IN, ключи запросов.
Примеры в файлах есть.
И вперед.

Все шаблоны работают в цикле, в одном потоке.
 

Вложения

Последнее редактирование:

radv

Client
Регистрация
11.05.2015
Сообщения
1 255
Благодарностей
665
Баллы
113

Iv1

Client
Регистрация
21.02.2016
Сообщения
845
Благодарностей
320
Баллы
63
Реализация установки региональности через GET параметры для google что-то не нашел в шаблонах...
Тема давняя, но не видел чтобы кто-то заморочился на реализацию.
Или это просто бонусное напоминание что так тоже можно?
 
Регистрация
12.07.2014
Сообщения
916
Благодарностей
354
Баллы
63
Реализация установки региональности через GET параметры для google что-то не нашел в шаблонах...
Забыл удалить папку))
Это осталось когда что-то по регионам парсил через XMLRiver.
Закачал архив без той папки.
 

Iv1

Client
Регистрация
21.02.2016
Сообщения
845
Благодарностей
320
Баллы
63
Забыл удалить папку))
Это осталось когда что-то по регионам парсил через XMLRiver.
Закачал архив без той папки.
А есть реализация?
Хочется потестить эффективность - но надо пилить, а это время
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)