- Регистрация
- 12.07.2014
- Сообщения
- 916
- Благодарностей
- 354
- Баллы
- 63
Всем салют!
Решил поучаствовать в конкурсе со своими SEO-шаблонами генерации редиректов на сайт.
Предыстория.
На оптимизацию и продвижение пришел сайт с только что смененной CMS и не настроенными редиректами.
В итоге в выдаче ПС куча дублей (https:// , https://www. , http:// , http://www. , + тоже самое на поддомене.).
Частично какие-то редиректы были сделаны, но настолько небрежно что проще все с нуля сделать.
Собственно идея и возникла как-то это дело автоматизировать.
Общая логика работы
Парсим урлы сайта в индексах Яндекс и Гугл, выгружаем в вебмастере и копируем в файл в папке IN.
Загоняем урл в первый шаблон 01 PingPageSite_v.1 . Он начинает скачивать заголовки страниц и сохранять все редиректы и коды ответа сервера в таблицу.
Колонки в таблице
1. Код ответа.
2. Стартовый урл, по которому программа скачивает заголовки.
3-4. Промежуточные редиректы.*
5. Финальный урл.*
*Колонок может быть и больше.
Второй шаблон из таблицы берет данные и уже он генерирует редиректы для вставки в htaccess.
Файлы и папки
IN – содержит файл с урл из выдачи ПС.
ссылки на вход.txt
OUT – сохраняется xlsx таблица и готовые файл с редиректами.
Книга1.xlsx – таблица с данными.
Redirects 09-10-2020_05-06-41.txt – готовый файл с редиректами. В названии подставляется время генерации.
shab – папка содержит файл с шаблоном для редиректа.
shab_red.txt
01 PingPageSite_v.1.xmlz – качалка заголовков страниц.
02 Gen_redirekt_v.1.xmlz – генератор редиректов.
Входящие настройки шаблонов
01 PingPageSite_v.1.xmlz
Включаем фильтрацию спец символов. Что бы какой-нибудь урл поиска товаров не попал в обработку.
02 Gen_redirekt_v.1.xmlz
Шаблон редиректа – указываем файл шаблона редиректа.
Обрезаем http(s)://domen.ru – регулярка для обрезки домена из урл.
Редирект при 403 и 404 – указываем куда сделать редирект при 404 и других ошибках.
XLSX файл на вход – указываем файл с таблицей на вход.
Бонус
В архиве два парсера Яндекс XML и Google (XML River).
Там все просто. Добавляете в настройки логины\ключи, в файл, в папке IN, ключи запросов.
Примеры в файлах есть.
И вперед.
Все шаблоны работают в цикле, в одном потоке.
Решил поучаствовать в конкурсе со своими SEO-шаблонами генерации редиректов на сайт.
Предыстория.
На оптимизацию и продвижение пришел сайт с только что смененной CMS и не настроенными редиректами.
В итоге в выдаче ПС куча дублей (https:// , https://www. , http:// , http://www. , + тоже самое на поддомене.).
Частично какие-то редиректы были сделаны, но настолько небрежно что проще все с нуля сделать.
Собственно идея и возникла как-то это дело автоматизировать.
Общая логика работы
Парсим урлы сайта в индексах Яндекс и Гугл, выгружаем в вебмастере и копируем в файл в папке IN.
Загоняем урл в первый шаблон 01 PingPageSite_v.1 . Он начинает скачивать заголовки страниц и сохранять все редиректы и коды ответа сервера в таблицу.
Колонки в таблице
1. Код ответа.
2. Стартовый урл, по которому программа скачивает заголовки.
3-4. Промежуточные редиректы.*
5. Финальный урл.*
*Колонок может быть и больше.
Второй шаблон из таблицы берет данные и уже он генерирует редиректы для вставки в htaccess.
Файлы и папки
IN – содержит файл с урл из выдачи ПС.
ссылки на вход.txt
OUT – сохраняется xlsx таблица и готовые файл с редиректами.
Книга1.xlsx – таблица с данными.
Redirects 09-10-2020_05-06-41.txt – готовый файл с редиректами. В названии подставляется время генерации.
shab – папка содержит файл с шаблоном для редиректа.
shab_red.txt
01 PingPageSite_v.1.xmlz – качалка заголовков страниц.
02 Gen_redirekt_v.1.xmlz – генератор редиректов.
Входящие настройки шаблонов
01 PingPageSite_v.1.xmlz
Включаем фильтрацию спец символов. Что бы какой-нибудь урл поиска товаров не попал в обработку.
02 Gen_redirekt_v.1.xmlz
Шаблон редиректа – указываем файл шаблона редиректа.
Обрезаем http(s)://domen.ru – регулярка для обрезки домена из урл.
Редирект при 403 и 404 – указываем куда сделать редирект при 404 и других ошибках.
XLSX файл на вход – указываем файл с таблицей на вход.
Бонус
В архиве два парсера Яндекс XML и Google (XML River).
Там все просто. Добавляете в настройки логины\ключи, в файл, в папке IN, ключи запросов.
Примеры в файлах есть.
И вперед.
Все шаблоны работают в цикле, в одном потоке.
Последнее редактирование:
