powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Просто Трёп [закрыт для гостей] / Как сделать RRD в PostgreSQL?, Поиск: Искать сообщения, созданные автором: Кусь  
13 сообщений из 13, страница 1 из 1
Просто Трёп / Как сделать RRD в PostgreSQL?
    #499868
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Есть решение для SQL Server. Для PG там по минимуму изменений понадобится

https://stackoverflow.com/questions/2479080/round-robin-assignment
...
Изменено: 07.08.2023, 12:46 - Кусь
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #499921
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Тень на плетень  07.08.2023, 13:01
[игнорируется]
Green  07.08.2023, 12:54
[игнорируется]
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
...
Изменено: 07.08.2023, 13:59 - Кусь
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #499924
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
А сразу TimeSeries базу взять для этого не судьба? В PG по любому костылить придётся
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500420
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
W  07.08.2023, 18:59
[игнорируется]
Кусь  07.08.2023, 13:50
[игнорируется]
Тень на плетень  07.08.2023, 13:01
[игнорируется]
Green  07.08.2023, 12:54
[игнорируется]
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
в посгресе точно также делается
я про постгрес и говорил
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500425
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Тень на плетень  07.08.2023, 19:25
[игнорируется]
Кусь  07.08.2023, 13:50
[игнорируется]
Тень на плетень  07.08.2023, 13:01
[игнорируется]
Green  07.08.2023, 12:54
[игнорируется]
Что такое RRD?
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
По партициям то понятно, но это не совсем то. Собственно предположим вам нужно собирать какую то метрику 10 раз в день. То есть в день всего 10 строк. Но хранить ее нужно четко неделю.

Как это все работает в RRD?

Пошел понедельник, Вторник, и т.д. Воскресенье. Когда начался новый понедельник, первая запись предыдущего понедельника должна затереться первой записью нового понедельника. И так все в цикле.

В чем профит? Таблица всегда с фиксированным количеством строк. Она не растет и значит не требует обслуживания.
ТОгда тебе надо просто SQL запускать по расписанию в конце дня и делать там:
DELETE from table WHERE <your_date> > CURRENT_DATE - interval '7 day'
Можно и без партиций.

Если DBA запускает VACUUM время от времени, то таблица В РАЗМЕРАХ расти не будет.
...
Изменено: 07.08.2023, 21:46 - Кусь
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500429
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
W  07.08.2023, 21:47
[игнорируется]
Кусь  07.08.2023, 21:46
[игнорируется]
Тень на плетень  07.08.2023, 19:25
[игнорируется]
Кусь  07.08.2023, 13:50
[игнорируется]
Тень на плетень  07.08.2023, 13:01
[игнорируется]
...
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
По партициям то понятно, но это не совсем то. Собственно предположим вам нужно собирать какую то метрику 10 раз в день. То есть в день всего 10 строк. Но хранить ее нужно четко неделю.

Как это все работает в RRD?

Пошел понедельник, Вторник, и т.д. Воскресенье. Когда начался новый понедельник, первая запись предыдущего понедельника должна затереться первой записью нового понедельника. И так все в цикле.

В чем профит? Таблица всегда с фиксированным количеством строк. Она не растет и значит не требует обслуживания.
ТОгда тебе надо просто SQL запускать по расписанию в конце дня и делать там:
DELETE from table WHERE <your_date> > CURRENT_DATE - interval '7 day'
Можно и без партиций.

Если DBA запускает VACUUM время от времени, то таблица расти не будет.
это если там хуй да нихуя нагрузки/данных. за такое "решение" от дба можно и поебалу получить
тогда делаем партишны по колонке даты и ебало будет целым.
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500434
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
я сомневаюсь что там нагрузки/данных до хуя. Он же сказал: 10 строчек на день и хранится 7 дней всего => ~ 70 строк в таблице. БигДата нах!
...
Рейтинг: 1 / 0
Нравится: Гарыныч
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500438
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
W  07.08.2023, 21:54
[игнорируется]
Кусь  07.08.2023, 21:53
[игнорируется]
я сомневаюсь что там нагрузки/данных до хуя. Он же сказал: 10 строчек на день и хранится 7 дней всего => ~ 70 строк в таблице. БигДата нах!
тогда ваще пох. хоть на паскале пусть заебенит
вот и я том. Можно и без партишнов здесь
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500632
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Tosh  08.08.2023, 09:13
[игнорируется]
Тень на плетень  07.08.2023, 19:25
[игнорируется]
Кусь  07.08.2023, 13:50
[игнорируется]
Тень на плетень  07.08.2023, 13:01
[игнорируется]
Green  07.08.2023, 12:54
[игнорируется]
...
Round Robin Database. Циклические БД. Так чтобы они гарантированно хранили данные только за неделю например. Без необходимости дополнительно стирать старые данные. Они просто затираются новыми. Сама БД при этом фиксированного обьема и не растет.
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
По партициям то понятно, но это не совсем то. Собственно предположим вам нужно собирать какую то метрику 10 раз в день. То есть в день всего 10 строк. Но хранить ее нужно четко неделю.

Как это все работает в RRD?

Пошел понедельник, Вторник, и т.д. Воскресенье. Когда начался новый понедельник, первая запись предыдущего понедельника должна затереться первой записью нового понедельника. И так все в цикле.

В чем профит? Таблица всегда с фиксированным количеством строк. Она не растет и значит не требует обслуживания.
Для данного конкретного вопроса можно просто собрать первичный ключ, который будет вычисляться исходя из номера дня в неделе и номера измерения в дне, заполнить таблицу "пустыми" значениями, а во время измерений вместо вставки записей делать просто изменение данных по вычисленному значению ключа
А если "статистику" решат потом немного расширить с недели до скажем 10 дней, то привязка к дням недели сразу идёт по пизде
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500637
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Горбатый ёж  08.08.2023, 10:05
[игнорируется]
Tosh  08.08.2023, 09:13
[игнорируется]
Тень на плетень  07.08.2023, 19:25
[игнорируется]
Кусь  07.08.2023, 13:50
[игнорируется]
Тень на плетень  07.08.2023, 13:01
[игнорируется]
...
Разбей таблицу на партиции, по дням например, и повесь на эту таблицу view c условием: WHERE <your_date> >= CURRENT_DATE - interval '7 day'.
Раз в день можешь грохать устаревшие партиции по cron-у и добавлять новые на будущее.
По партициям то понятно, но это не совсем то. Собственно предположим вам нужно собирать какую то метрику 10 раз в день. То есть в день всего 10 строк. Но хранить ее нужно четко неделю.

Как это все работает в RRD?

Пошел понедельник, Вторник, и т.д. Воскресенье. Когда начался новый понедельник, первая запись предыдущего понедельника должна затереться первой записью нового понедельника. И так все в цикле.

В чем профит? Таблица всегда с фиксированным количеством строк. Она не растет и значит не требует обслуживания.
Для данного конкретного вопроса можно просто собрать первичный ключ, который будет вычисляться исходя из номера дня в неделе и номера измерения в дне, заполнить таблицу "пустыми" значениями, а во время измерений вместо вставки записей делать просто изменение данных по вычисленному значению ключа
Самое здравое предложение, ибо вполне возможно, что если какая-то строка сегодня не обновлялась, то она должна иметь старые данные.
Предположение сделано на том основании, что скорее всего кедруле это надо для его awr отчота, зачастую в таких отчётах важна динамика, а так же возможны пропуски сбора статы по различным причинам.
Если говорить про AWR, он основан на dba_hist_active_sess_history views, где снапшоты хранятся определённый период времени, потом удаляются и похую что там не менялось.
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500647
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Tosh  08.08.2023, 10:30
[игнорируется]
Если немного подумать - можно рассчитать алгоритм вычисления значения первичного ключа так, чтобы не было необходимости иметь привязку к дню недели.
Если немного подумать - это такой же костыль.
Каждый выберет свой
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500652
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Tosh [игнорируется] 
Если нет "родного" решения "из коробки", решение должно быть оптимальным, а не костылить ещё какой-нибудь алгоритм "без привязки и с привязкой", вместо простого удаления.
...
Рейтинг: 0 / 0
Просто Трёп / Как сделать RRD в PostgreSQL?
    #500687
Кусь
Скрыть профиль Поместить в игнор-лист
Участник
Горбатый ёж  08.08.2023, 11:42
[игнорируется]
Кусь  08.08.2023, 10:57
[игнорируется]
Tosh [игнорируется] 
Если нет "родного" решения "из коробки", решение должно быть оптимальным, а не костылить ещё какой-нибудь алгоритм "без привязки и с привязкой", вместо простого удаления.
Решение с партиционированием может быть не то что не оптимальным, оно может быть неверным, если углубиться в проблематику вопроса.
Как и любое другое, если нет нормальной постановки задачи.

По тому что было озвучено, объёмы там небольшие и можно обойтись без партишнов вообще.
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Просто Трёп [закрыт для гостей] / Как сделать RRD в PostgreSQL?, Поиск: Искать сообщения, созданные автором: Кусь  
Читали тему (2): Анонимы (2)
Игнорируют тему (5): sergey11, erbol, Сталкер, ZаЛупина, папа акуз
Читали форум (98): Анонимы (86), Urri, anonymous 1 мин., S Baltiki 1 мин., prostozevs 2 мин., Гарыныч 2 мин., cat2 3 мин., Sparrow 4 мин., Буся 4 мин., Королева Жезлов 5 мин., Ветер 5 мин., IT-Клоп 5 мин., Дед-Папыхтет 8 мин.
Пользователи онлайн (124): Анонимы (109), Vaska Balboa, Urri, Bing Bot, Гарыныч, Yandex Bot 1 мин., anonymous 1 мин., S Baltiki 1 мин., prostozevs 1 мин., cat2 3 мин., Буся 3 мин., Sparrow 4 мин., Королева Жезлов 5 мин., Ветер 5 мин., IT-Клоп 5 мин., Дед-Папыхтет 8 мин.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]