подскажите как сделать удаление

dbjktnf

Новичок
Регистрация
03.12.2021
Сообщения
7
Благодарностей
0
Баллы
1
после парсинга ссылок с сайта чтобы они больше 1 раза не парсили один и тоже текст статьи очень надо
 

Roman48

Client
Регистрация
28.02.2016
Сообщения
2 058
Благодарностей
741
Баллы
113
Когда парсишь, надо ссылки, сначала удалить дубли, а потом брать по одной ссылки и с удалением, тогда дублей не будет, да и так можно попробовать дубли удалить
 

dbjktnf

Новичок
Регистрация
03.12.2021
Сообщения
7
Благодарностей
0
Баллы
1
это я знаю просто на сайт каждую минуту новая статья и она нужна сразу а если парсиш и сразу публикуешь автопостером он берет и старые
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113

dbjktnf

Новичок
Регистрация
03.12.2021
Сообщения
7
Благодарностей
0
Баллы
1
надо постоянно парсить и автопостить а парсир берет и старые статьи
 

Roman48

Client
Регистрация
28.02.2016
Сообщения
2 058
Благодарностей
741
Баллы
113
это я знаю просто на сайт каждую минуту новая статья и она нужна сразу а если парсиш и сразу публикуешь автопостером он берет и старые
Тогда как вариант, старые которые спарсил уже, записывать в файл, и потом, когда новые спарсил, сравнить два списка, а в третьем списке, будет то чего еще у тебя на сайте. Сравнить после парсинга
C#:
List<string> bad = project.Lists["Ссылки из вебмастера"].ToList();//стопслова
List<string> mix = project.Lists["Ссылки из вебмастера новые"].ToList();//потенциальные счастливцы
var good =project.Lists["Новые ссылки"];//те, кото будем осчастливливать точно
List<string> kostyl = new List<string>();//важный элемент индусского кода
//блок очень сложного индусского кода
kostyl=mix.Except(bad).ToList();
foreach(string data in kostyl)
{good.Add(data);}
 
  • Спасибо
Реакции: vadim4ukr и dbjktnf

dbjktnf

Новичок
Регистрация
03.12.2021
Сообщения
7
Благодарностей
0
Баллы
1
спасибо
 

Roman48

Client
Регистрация
28.02.2016
Сообщения
2 058
Благодарностей
741
Баллы
113
Нет так не получиться, может все перемешаться, надо разделитель статей или все в одну строку делать, так делай в одну строку, тогда точно все получиться, а дату статьи не парсить, может он вебмастер новости апает в ручную обновляет, или меняет урл, но статья от этого не меняется

1638545374853.png
 
Последнее редактирование:

Vladimir71

Client
Регистрация
21.10.2015
Сообщения
95
Благодарностей
38
Баллы
18
У меня такое впечатление, что вопрос не в тему , здесь по моему начинающие зенноводы просят сделать какой нибудь шаблон , а вопрос не в тему вообще , так можно засрать весь топик.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 304
Благодарностей
5 421
Баллы
113
У меня такое впечатление, что вопрос не в тему , здесь по моему начинающие зенноводы просят сделать какой нибудь шаблон , а вопрос не в тему вообще , так можно засрать весь топик.
походу просто разделом ошибся
 

Vladimir71

Client
Регистрация
21.10.2015
Сообщения
95
Благодарностей
38
Баллы
18

dbjktnf

Новичок
Регистрация
03.12.2021
Сообщения
7
Благодарностей
0
Баллы
1
У меня такое впечатление, что вопрос не в тему , здесь по моему начинающие зенноводы просят сделать какой нибудь шаблон , а вопрос не в тему вообще , так можно засрать весь топик.
я здесь первый раз сори если не в тему закинул вопрос
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)