Фильтрация текста. Найти строки которые повторяются больше n - раз

DevOps

Client
Регистрация
30.11.2020
Сообщения
496
Благодарностей
314
Баллы
63
Добрый вечер форумчане. Подскажите где подсмотреть решение
Нарисовался небольшой "затык" в разработке
Имеется 200 текстовых файлов в которых расположено разное количество строк от 1М до 10М. Каждая строка это определенное слово
Как найти в каждом файле (можно сразу во всех можно и по отдельности в поиске по файлам) строки которые повторяются n- раз
То есть - необходимо сделать выборку не уникальных строк, а тех кто имеет, к примеру по 5 повторов.
Перебор на уникальность - умею, а вот как задать с повторами не меньше 5 раз, хз
PS Может можно просто просчитать сколько каждое слово повторяется и вывести в отдельный файл результат - слово 1 - 100 раз, слово 2 - 2 раза? Не варит башка, +43 на улице
//
Вопрос закрыт

Подсчет количества повторов каждой из строк:
 var list = project.Lists["1"];
    foreach (var item in list.Distinct()
                .Where(x=>list.Count(x.Equals) > 1)
                .Select(x => string.Format("{0} : {1} раз", x, list.Count(x.Equals))))
            {
                project.SendInfoToLog(item);
            }
 
Последнее редактирование:

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 486
Благодарностей
8 692
Баллы
113
  • Спасибо
Реакции: DevOps

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)