Одновременная работа с профиль папками на нескольких машинах

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Добрый вечер друзья! Запарился уже искать решение своей проблемы, поэтому решил обратиться сюда за помощью, так сказать к знающим людям. Думаю многим новичкам, ответ на этот вопрос будет полезен.

Что мы имеем:
- Допустим у нас есть несколько машин с установленным зеннопостером на разных серверах в интернете.
- Также у нас есть много тысяч профиль папок с десятками миллионов файлов в них (используются для браузерных шаблонов).

Что необходимо:
- Сделать синхронизацию раздела с профиль папками на нескольких машинах (чтобы зеннопостер на одной машине редактировал/добавлял файлы в профиль папке и эти изменения дублировались на других машинах по средствам интернета).

Что не подходит:
- Облачные решения такие как Яндекс.диск, Гугл диск, дроп бокс и так далее. Тупо не успевает загружать изменения происходящие в профиль папке на диск и после на второй комп (мало того, что сервисы специально режут скорость закачки/загрузки), так ещё и при незначительных сбоях, начинает с нуля синхронизацию миллионов файлов, что вообще не вариант.
- Сетевые решения тоже не подходят, так как сервера находятся в разных местах и вариант только интернет.

Ребят, не прошу готового решения, просто тыкните носом, пожалуйста, в направление куда рыть. Две недели уже мозг ломаю и ничего не могу найти годного для винды. Возможно совершенно другой подход нужен в решении данного вопроса, буду очень благодарен за подсказку.
 

biohacker01

Client
Регистрация
30.10.2019
Сообщения
57
Благодарностей
37
Баллы
18
Не совсем догоняю всю суть.
Но вот мысли насчет решения
1)Скорости/перекачки файлов на другой сервер( назовем хранилищем)
Профиль упаковать в zip архив, и отправить им.(много файлов передается медленее по итоговому времени, чем 1 большой файл)

2)По поводу синхронизации между много машин, если суть в том чтоб 1 машина получала профили ток те которая сама сделала.
Винде есть "имя компьютера" можно на Хранилище создать папку с названием этой машины, ии хранить в ней ток архивы профилей этой машины.

Остается вопрос только софтом для этого, который будет запускаться по расписанию
 

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Не совсем догоняю всю суть.
Но вот мысли насчет решения
1)Скорости/перекачки файлов на другой сервер( назовем хранилищем)
Профиль упаковать в zip архив, и отправить им.(много файлов передается медленее по итоговому времени, чем 1 большой файл)

2)По поводу синхронизации между много машин, если суть в том чтоб 1 машина получала профили ток те которая сама сделала.
Винде есть "имя компьютера" можно на Хранилище создать папку с названием этой машины, ии хранить в ней ток архивы профилей этой машины.

Остается вопрос только софтом для этого, который будет запускаться по расписанию
Делать хранилище из архивов профилей смысла никакого нет)) нужен какой-то софт для винды, который позволяет отзеркалить/дублировать папку в которой хранятся все профили на других машинах по средствам интернета. Я много искал по этому вопросу, но что-то ничего нормального на вид так и не нашёл, а облака не подошли. Вот думаю может кто хоть названием нужной программы поделится, чтобы понимать в какое направление копать.
 

Nebot

Client
Регистрация
25.04.2014
Сообщения
90
Благодарностей
79
Баллы
18
Нужно одну машину выделять специально под профили и с нее подгружать актуальные, если дата файла на этой машине новее.
Ну и все изменения, естественно, на нее загружать.
Через ftp сервер-клиент.

Логика такая, по поводу конкретной реализации, хз.
 

che100

Client
Регистрация
18.04.2017
Сообщения
808
Благодарностей
499
Баллы
63

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Всем большое спасибо за идеи и названия прог. Если будут ещё идеи, накидайте, пожалуйста. Долго искал оптимальное решение, глядишь кому-то и пригодится ещё. Вот один пользователь из другой ветки тоже написал.


1. Одну машину выделяешь чисто под хранение профилей - типо такой дата сервер. Можно даже сетевой винчестер подключить прямо в локалку чтобы не наворачивать чего не следует.
2. Далее это все на всех компах монтируешь как сетевой диск
3. И просто со всех бото-серверов берешь профили с этого сетевого диска

Все. Можно наслаждаться несложной в принципе схемой.
 

Yuriy Zymlex

Moderator
Команда форума
Регистрация
24.10.2016
Сообщения
6 352
Благодарностей
3 279
Баллы
113
Только не забудьте добавить подобие Lock файла - пока он существует, папка профиля не должна использоваться, с него начинать работу и заканчивать его удалением.
Но и тут есть риск ненулевой коллизии, тут скорее понадобится менеджер профилей, а это лучше поискать среди баз данных (бывают разной специализации).
 
  • Спасибо
Реакции: Putn1k

che100

Client
Регистрация
18.04.2017
Сообщения
808
Благодарностей
499
Баллы
63
Далее это все на всех компах монтируешь как сетевой диск
на разных серверах в интернете.
Протокол SMB разрабатывался для работы в локальной сети, потом будушь костыли пилить. Но ты обязан себе шишку набить. :D
 

nicanil

Client
Регистрация
06.03.2016
Сообщения
2 242
Благодарностей
1 802
Баллы
113

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Только не забудьте добавить подобие Lock файла - пока он существует, папка профиля не должна использоваться, с него начинать работу и заканчивать его удалением.
Но и тут есть риск ненулевой коллизии, тут скорее понадобится менеджер профилей, а это лучше поискать среди баз данных (бывают разной специализации).
Добрый день. Если у меня весь список профилей находится в базе данных и когда я беру на одной машине профиль, то запрещаю эту возможность другим машинам непосредственно в базе. Это решает данную проблему?
 

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Большое спасибо, очень похоже на то, что решит мою проблему. Скажите, пожалуйста, а Вы сами пользуетесь этой программой или может уже видели примеры её использования? Просто интересно есть ли положительный опыт в использовании.
 

nicanil

Client
Регистрация
06.03.2016
Сообщения
2 242
Благодарностей
1 802
Баллы
113
Большое спасибо, очень похоже на то, что решит мою проблему. Скажите, пожалуйста, а Вы сами пользуетесь этой программой или может уже видели примеры её использования? Просто интересно есть ли положительный опыт в использовании.
Увы, не смогу поделиться опытом использования, так как его нету:bk:
Когда-то сохранил ссылку на всякий случай, но "всякий случай" всё никак не наступит.
 

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Увы, не смогу поделиться опытом использования, так как его нету:bk:
Когда-то сохранил ссылку на всякий случай, но "всякий случай" всё никак не наступит.
Хорошо, тогда как тестану, обязательно отпишусь насчёт жизнеспособности этой идеи
 
  • Спасибо
Реакции: nicanil и bizzon

Putn1k

Client
Регистрация
03.01.2020
Сообщения
67
Благодарностей
19
Баллы
8
Вообщем потестировал, не смог он отсканировать всю папку с файлами (только половину папок - 500т штук отсканировал и скорость встала намертво), а до файлов даже не добрался по итогу. А вот с небольшими объёмами файлов и папок работает отлично, в этом и нашёл для себя решение. Так что спасибо за подсказку!
 
  • Спасибо
Реакции: nicanil
Регистрация
09.03.2021
Сообщения
6
Благодарностей
9
Баллы
3
Пол года назад я нажимал на запись проекта и делал парочку неуверенных тыков в экран. На данный момент сижу и пытаюсь понять, как сделать грамотную файловую систему для хранения/синхронизации профиль папок (сотни гигов) на множестве машин в реальном времени.

К чему это я:
1) Огромное спасибо разработчикам зенки за их труды и новые обновления, буквально за год с этой программой получил огромный прогресс в работе и развитии (очень жду новый движок и расширения :bp:)
2) Ребят, ну тыкните, пожалуйста, в каком направлении поискать решения, чтобы можно было нормально синхронизировать эти миллионы файлов из профиль папок на нескольких машинах по интернету? (облака не вариант, слишком долго грузят)

P.S. Допустим у меня стоит 5-10 машин с зеннопостером и профиль папки для всех одни и те-же, в каком хоть направлении копать? Реально вторую неделю мучаюсь, выручайте ребят))
Есть вариант, как описали выше сделать хранение всех профилей на одном сервере - им может выступать тот же FTP с оплатой за каждый гб (0.5 RUB+/мес). Хостеров можно найти на этом сайте https://backup.menu

Также есть вариант сверху подключить бд, либо сделать файловую систему и в ней хранить все данные.
 

finista

Client
Регистрация
10.10.2012
Сообщения
361
Благодарностей
57
Баллы
28
В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс
 
  • Спасибо
Реакции: 6585_Лягуша
Регистрация
19.10.2018
Сообщения
188
Благодарностей
24
Баллы
18
В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс
Подскажите как хранить в json в базе, как раз появилась надобность в подобном. Что может почитать посоветуете или может есть какие инструкции, статьи?
 

Konrod_m

Client
Регистрация
18.09.2014
Сообщения
1 649
Благодарностей
913
Баллы
113
В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс
Можете поделится решением? Напишите стоимость в личку.

И мало ли у кого есть отработанная схема работы с хранением ПРОФИЛЬ-ПАПОК в БД, импорт-экспорт и т.д. Напишите стоимость - пока актуально.
 

Cop

Client
Регистрация
12.08.2020
Сообщения
42
Благодарностей
7
Баллы
8
Я вижу 2 варианта, и сам использовал\использую оба
1. Сетевая папка, расшаренная, но без доступа из общедоступных сетей, чтоб избежать утечек. Как, если коротко, создается зеротиер подсеть zerotier.com, бесплатно до 25 компов, затем либо платно, либо поднимать свой контроллер, тоже пройдено )) и внутри подсети расшаривается папка с профилями, которые благополучно тянутся по сети. просто, быстро, безопасно...
2. немного сложнее, каждый профиль распаковывать, вставлять его в бд и затем тянуть его из бд. сложнее в том плане, что нужно правильно "разобрать по косточкам" профиль, ничего не упустив, и затем, так же четко его "собрать". Но этот способ открывает некоторые дополнительные возможности, например поочередное использование аккаунтов всеми компами. Все эти способы я реализовывал и использую по сей день...
 

Cop

Client
Регистрация
12.08.2020
Сообщения
42
Благодарностей
7
Баллы
8
В форме файлов не очень удобно, в вот в формате Json в базе данных - каласс
Json не всегда проканывает. Например, у хотмыл каждая третья кука кривая и хранить ее в джсоне не получается, как текст проканывает... но это при построении бд критично )) а так, да. но я предпочитаю "каждую переменку в свое гнездышко" складывать..
так видно нагляднее результат )
 

Cop

Client
Регистрация
12.08.2020
Сообщения
42
Благодарностей
7
Баллы
8
Вообщем потестировал, не смог он отсканировать всю папку с файлами (только половину папок - 500т штук отсканировал и скорость встала намертво), а до файлов даже не добрался по итогу. А вот с небольшими объёмами файлов и папок работает отлично, в этом и нашёл для себя решение. Так что спасибо за подсказку!
А Вас не смутило, сколько прав просит простая программка для синхрона файлов? У меня не хватило отваги дать ей столько прав )) я лучше сам такую напишу.. и да, она не способна на такие задачи, там, где нужно 1-100 файлов синхронить, может быть но несколько папок в одну, нереально
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)