Работа с большой базой (MySQL и прочие)

[Crucifer]

Ребята, а кто работает с большими базами может подскажете куда двигаться?

Ну вот запихнул данные в базу MySQL 5.7. Всё в принципе нормально запрашивалось на 500к тестовых строках в базе. Залил всю базу на 130кк строк и теперь SELECT вываливается через минуту в - Выполнение действия Db Timeout expired. The timeout period elapsed prior to completion of the operation or the server is not responding.

Что-то можно решить настройками mysql или доп настройками запроса, подставлял timeout в строке подключения зенки, похоже он не играет роли.
Или нужно такую базу крутить на гораздо более мощном процессоре с большей оперативкой. Или даже нужно смотреть в сторону более производительных postgre и mongodb?
Меня бы в принципе устроил селект по запросу даже секунд в 10. В этом запросе это не критично.

 

[Manfred]

Индексы есть?

 

[Crucifer]

Индексы есть?

Нет. Подскажите как создать?

 

[Manfred]

Если в кратце, то индекс, это поле по которому оптимизирован(ускорен) поиск.

Поскольку индекс занимает место, то индексировать нужно только те поля, по которым происходит выборка.

Индексы в MySQL - Highload.today

Что такое индексы в Mysql и как их использовать для оптимизации запросов

ruhighload.com

 

[Crucifer]

Если в кратце, то индекс, это поле по которому оптимизирован(ускорен) поиск.

Поскольку индекс занимает место, то индексировать нужно только те поля, по которым происходит выборка.

Индексы в MySQL - Highload.today

Что такое индексы в Mysql и как их использовать для оптимизации запросов

ruhighload.com

Спасибо за подсказку я понял. Уже попробовал, тип данных и длина не подходит для создания индекса. Сейчас грохну таблицу и заново создам с новыми условиями. И запущу создание индекса. Как думаете насколько ускорит селект из таблицы с созданным индексом, учитывая что нет повторяющихся данных в таблице?

 

[Manfred]

Можешь показать с чем идет работа?
1. пример запроса
2. структуру таблицы
3 сами данные: пару -тройку записей в таблице

 

[one]

Может настроить MySQL сервер корректно?

и теперь SELECT вываливается через минуту в

Ну и сам запрос тоже возможно не совсем корректен.

 

[Crucifer]

Может настроить MySQL сервер корректно?
Ну и сам запрос тоже возможно не совсем корректен.

Да в принципе все дело в индексах было в этой таблице. Спасибо Manfred.
Стоило только правильно создать индексы и всё. Запрос за 0,003 секунды проходит.

Но чем дальше разрастается база и я погружаюсь в mysql то появляются другие проблемы.
Если изначально создать индекс на нужную колонку, то при работе с LOAD DATA с заливкой данных в таблицу, я так понимаю сразу происходит и создание индекса новых данных. Что постепенно начинает тормозить работу.
Примерно расширение базы на 100 мб данных дает увеличение запроса с заливкой данных через LOAD DATA на секунду. И соответственно уже после создания базы в 7 гб начинаются - Db Timeout expired.
Пока придумал только что сначала заливаю базу без индекса, а потом уже запускаю создание индекса.

Пробовал создавать большую базу на mysql 8.0 но началось жуткое использование оперативной памяти уже на 500кк строчках. Поэтому вернулся обратно на 5.7 и полет вроде нормальный.

И задумался как грамотно перенести базу на другой диск, потому как системный всего на 256 гб.