Дедофорум Z
     
powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Форумы / Просто Трёп [закрыт для гостей] / Как сделать RRD в PostgreSQL?, Поиск: Искать сообщения, созданные автором: Тень на плетень  
8 сообщений из 8, страница 1 из 1
Просто Трёп / Как сделать RRD в PostgreSQL?
    #499854
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Есть идеи?

Общий подход здесь, но это частный случай.

https://grisha.org/blog/2015/09/23/storing-time-series-in-postgresql-efficiently/
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
07.08.2023, 12:30
| Ответить | Цитировать | Написать | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #499888
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Green  07.08.2023, 12:54
[игнорируется]
499876
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 1 / 0
Нравится: Гарыныч
07.08.2023, 13:01
| Ответить | Цитировать | Написать | Ответы | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500086
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Green  07.08.2023, 13:11
[игнорируется]
499899
Тень на плетень  07.08.2023, 13:01
[игнорируется]
499888
Green  07.08.2023, 12:54
[игнорируется]
499876
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
В линуксе есть такое, ротация логов. Складывает данные в файлик, потом в архив и архив каждый день делается, неделю хранится.
Ну да это примерно такое же, только внутри БД.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
07.08.2023, 16:17
| Ответить | Цитировать | Написать | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500088
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Кусь  07.08.2023, 13:50
[игнорируется]
499921
Тень на плетень  07.08.2023, 13:01
[игнорируется]
499888
Green  07.08.2023, 12:54
[игнорируется]
499876
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
Во, такое наверное возможно, нужно подумать.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
07.08.2023, 16:17
| Ответить | Цитировать | Написать | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500271
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Кусь  07.08.2023, 13:50
[игнорируется]
499921
Тень на плетень  07.08.2023, 13:01
[игнорируется]
499888
Green  07.08.2023, 12:54
[игнорируется]
499876
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
По партициям то понятно, но это не совсем то. Собственно предположим вам нужно собирать какую то метрику 10 раз в день. То есть в день всего 10 строк. Но хранить ее нужно четко неделю.

Как это все работает в RRD?

Пошел понедельник, Вторник, и т.д. Воскресенье. Когда начался новый понедельник, первая запись предыдущего понедельника должна затереться первой записью нового понедельника. И так все в цикле.

В чем профит? Таблица всегда с фиксированным количеством строк. Она не растет и значит не требует обслуживания.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 07.08.2023, 19:28 - Тень на плетень
Рейтинг: 0 / 0
07.08.2023, 19:25
| Ответить | Цитировать | Написать | Ответы | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500272
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Кусь  07.08.2023, 13:53
[игнорируется]
499924
А сразу TimeSeries базу взять для этого не судьба? В PG по любому костылить придётся
В смысле timescale db? Есть такой плагин к посгресу.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 07.08.2023, 19:28 - Тень на плетень
Рейтинг: 0 / 0
07.08.2023, 19:26
| Ответить | Цитировать | Написать | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500804
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Tosh  08.08.2023, 10:30
[игнорируется]
500643
Кусь  08.08.2023, 10:17
[игнорируется]
500632
Tosh  08.08.2023, 09:13
[игнорируется]
500598
Тень на плетень  07.08.2023, 19:25
[игнорируется]
500271
Кусь  07.08.2023, 13:50
[игнорируется]
499921
...
По партициям то понятно, но это не совсем то. Собственно предположим вам нужно собирать какую то метрику 10 раз в день. То есть в день всего 10 строк. Но хранить ее нужно четко неделю.

Как это все работает в RRD?

Пошел понедельник, Вторник, и т.д. Воскресенье. Когда начался новый понедельник, первая запись предыдущего понедельника должна затереться первой записью нового понедельника. И так все в цикле.

В чем профит? Таблица всегда с фиксированным количеством строк. Она не растет и значит не требует обслуживания.
Для данного конкретного вопроса можно просто собрать первичный ключ, который будет вычисляться исходя из номера дня в неделе и номера измерения в дне, заполнить таблицу "пустыми" значениями, а во время измерений вместо вставки записей делать просто изменение данных по вычисленному значению ключа
А если "статистику" решат потом немного расширить с недели до скажем 10 дней, то привязка к дням недели сразу идёт по пизде
Если немного подумать - можно рассчитать алгоритм вычисления значения первичного ключа так, чтобы не было необходимости иметь привязку к дню недели.
В общем: кому надо - понял, кому найти готовое решение - может искать готовое монструозное решение с применением большого количества костылей
Вот это правильно. Глубина хранения - это именно формат первичного ключа.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
08.08.2023, 15:51
| Ответить | Цитировать | Написать | Перейти в тему  
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500807
Тень на плетень
Скрыть профиль Поместить в игнор-лист
Тень на плетень
Участник
Кусь  08.08.2023, 11:49
[игнорируется]
500687
Горбатый ёж [игнорируется] 

Как и любое другое, если нет нормальной постановки задачи.

По тому что было озвучено, объёмы там небольшие и можно обойтись без партишнов вообще.
Секционирование не нужно. Тут объем данных несколько гб.

Правда в Постгресе есть специфика.

Если по ключу ты нашёл нужную строку чтобы ее апдейтить, он ее все равно сначала удалит, а потом создаст новую. То есть вакуум нужен.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
08.08.2023, 15:54
| Ответить | Цитировать | Написать | Ответы | Перейти в тему  
8 сообщений из 8, страница 1 из 1
Форумы / Просто Трёп [закрыт для гостей] / Как сделать RRD в PostgreSQL?, Поиск: Искать сообщения, созданные автором: Тень на плетень  
Читали тему (3): Анонимы (3)
Игнорируют тему (5): sergey11 ✓, erbol, Сталкер, ZаЛупина, папа акуз
Читали форум (95): Анонимы (89), Tabula Rasa, cat2, sergey11 1 мин., Гарыныч 5 мин., Буся 6 мин., Ветер 7 мин.
Пользователи онлайн (119): Анонимы (110), Tabula Rasa, cat2, Yandex Bot, sergey11 1 мин., Гарыныч 1 мин., Bing Bot 3 мин., Буся 6 мин., Ветер 7 мин., Vaska Balboa 8 мин.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Польз. соглашение
ReSQL.ru, Чоткий форум, Чат Кролика       Пашэ: Рисунки, Чат       Деда: Фотоальбом, Встречи
Закрыть
Start [/forum/search.php?do_search=1&tid=11456&author_mode=wrote_post&author=%D0%A2%D0%B5%D0%BD%D1%8C%20%D0%BD%D0%B0%20%D0%BF%D0%BB%D0%B5%D1%82%D0%B5%D0%BD%D1%8C&start_from=499888]:
 0ms
get settings:
 1ms
get forum list:
 4ms
searching:
 9ms
get settings:
 1ms
get forum list:
 4ms
get topic data:
 3ms
check forum access:
 0ms
check topic access:
 0ms
get forum data:
 1ms
get found posts:
 23ms
track hit:
 20ms
get online users:
 59ms
check new:
 173ms
others: 271ms
total:  569ms
созд. / загр.: 569ms (нв.: 173ms)
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]