Объединить два больших списка

Jeka124

Client
Регистрация
19.09.2020
Сообщения
119
Благодарностей
3
Баллы
18
Всем привет. Суть задачи - объединить два списка, один почти 1,8 гб, второй около 0,5 гб. Пытаюсь выполнить действия через - операции со списками - добавить данные из списка, в начале кубики привязаться к данным списками. После нажатия на выполнить - показывает успешное выполнение но списки не объединяются. Возможно вообще объединить такие большие списки?
 

discus

Client
Регистрация
21.09.2020
Сообщения
87
Благодарностей
43
Баллы
18
Сохрани этот код в текстовом файле, поменяй расширение на .bat, объединит 1.txt и 2.txt в final.txt
Код:
@echo off
(
type 1.txt
echo:
type 2.txt
)>final.txt
 
  • Спасибо
Реакции: Jeka124

Jeka124

Client
Регистрация
19.09.2020
Сообщения
119
Благодарностей
3
Баллы
18
Сохрани этот код в текстовом файле, поменяй расширение на .bat, объединит 1.txt и 2.txt в final.txt
Код:
@echo off
(
type 1.txt
echo:
type 2.txt
)>final.txt
На C# не знаете как реализовать, хотелось бы через кубик
 

one

Client
Регистрация
22.09.2015
Сообщения
6 796
Благодарностей
1 264
Баллы
113

discus

Client
Регистрация
21.09.2020
Сообщения
87
Благодарностей
43
Баллы
18
На C# не знаете как реализовать, хотелось бы через кубик
C# не знаю, можно записывать и запускать bat автоматически, возможно таймаут выполнения надо будет указать больше чтобы файлы успели склеиться в один. При записи батника имена файлов можно задать переменными
73979
 
  • Спасибо
Реакции: nicanil и Jeka124

discus

Client
Регистрация
21.09.2020
Сообщения
87
Благодарностей
43
Баллы
18
  • Спасибо
Реакции: Jeka124

DevOps

Client
Регистрация
30.11.2020
Сообщения
496
Благодарностей
314
Баллы
63
Здравствуйте. Откройте Notepad++ и создайте пустую страницу. В ней напишите следующее
copy *.txt all.xxx
rename all.xxx all.txt

Сохраните файл с расширением .bat
Сделайте папку и закиньте туда свои 2 текстовика и файл .bat
Запустите .bat и вуаля.
Таким образом можно собрать в 1 выходной файл неограниченное количество текстовиков
Ограничение на выходной файл - 256ГБ
 
  • Спасибо
Реакции: Jeka124

discus

Client
Регистрация
21.09.2020
Сообщения
87
Благодарностей
43
Баллы
18
copy *.txt all.xxx
rename all.xxx all.txt
Работает намного быстрее чем мой пример кода, но склеивает файлы в одну строчку, можно ли сделать склейку с переносом строки? И в конце файла добавляет непонятный символ. Можно как-то исправить? Например, тут склеил 5 файлов:
74060
 

DevOps

Client
Регистрация
30.11.2020
Сообщения
496
Благодарностей
314
Баллы
63
Работает намного быстрее чем мой пример кода, но склеивает файлы в одну строчку, можно ли сделать склейку с переносом строки? И в конце файла добавляет непонятный символ. Можно как-то исправить? Например, тут склеил 5 файлов:
Посмотреть вложение 74060
Здравствуйте. Подобные ошибки случаются из-за того, что информация была перенесена в текстовый файл с дампов или БД содержащие признаки окончания строк как -пробел-табуляция-возврат каретки и.т.д. Это не связано командлетом предоставленным мной.
Ваши файлы с терабайтного сборника Collection 1-5?
 

discus

Client
Регистрация
21.09.2020
Сообщения
87
Благодарностей
43
Баллы
18
  • Спасибо
Реакции: DevOps

DevOps

Client
Регистрация
30.11.2020
Сообщения
496
Благодарностей
314
Баллы
63

DevOps

Client
Регистрация
30.11.2020
Сообщения
496
Благодарностей
314
Баллы
63
Работает намного быстрее чем мой пример кода, но склеивает файлы в одну строчку, можно ли сделать склейку с переносом строки? И в конце файла добавляет непонятный символ. Можно как-то исправить? Например, тут склеил 5 файлов:
Посмотреть вложение 74060
for %%f in (*.txt) do echo.>>%%f
copy *.txt all.xxx
rename all.xxx all.txt
 
  • Спасибо
Реакции: discus

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)