Концепция

Отслеживание новых сообщений начинается после первого входа на форум а не с начала времён. Запоминается дата первого входа на форум.

Посетитель ниразу не был в теме:
Если в теме форума появляются сообщения после даты первого входа на форум, тема помечается меткой "новые". При входе в тему запоминается дата последнего прочтенного сообщения. Поскольку движение глаз браузер отслеживать не может, последним прочтенным сообщением считается последнее сообщение, отгруженное клиенту в браузер.

Посетитель уже был в теме:
Если в теме форума появляются сообщения после даты последнего прочтенного сообщения, тема помечается меткой "новые". При входе в тему дата последнего прочтенного сообщения обновляется на новое значение.

Новыми не считаются:

• Собственные сообщения
• Удаленные сообщения
• Сообщения от пользователей и гостей, находящихся в игноре
• Сообщения в темах и форумах, находящихся в игноре

Эти нюансы ощутимо утяжеляют запрос и увеличивают время его выполнения.

Реализация

Для унификации гостей и пользователей, а также для поддержки информации о прочитанных после вылогинивания, используются так называемые ридмаркеры.

Ридмаркер выдается посетителю при первом заходе, если он еще не выдан.

Выданный ридмаркер сохраняется в куках для гостей, и в куках и в профиле для пользователей.

При входе в систему ридмаркер гостя достается из куки, а ридмаркер пользователя достается из профиля и помещается в куку (как и другие настройки). Таким образом после вылогинивания, информация о прочитанных сообщениях не пропадает.

Решение проблемы распухания таблиц ридмаркеров

Форум посещает много ботов, у которых куки и сессий нет, а также много гостей, у которых протухает кука и ридмаркер теряется. Также постоянные посетители прочитали много тем, а новые темы появляются каждый день. Из за этого таблицы с информацией о прочитанных распухают, и возникает небоходимость в механизме их очистки (своего рода лангольеры).

Многие боты, распознанные по юзер-агенту, не участвуют в отслеживании новых.

Введен параметр, ограничивающий период отслеживания новых.

Введено понятие последней активности ридмаркера. Ридмаркеры, неактивные дольше чем период отслеживания новых, удаляются.
Поэтому для долго отсутсвующих посетителей, при возврате на форум, отсчёт новых начинается с момента возврата на форум, а не с начала времен, т.е. как будто он вошел на форум первый раз.

Много ботов заходят на форумы, но не входят в темы. Ридмаркеры, неактивные дольше 1-го дня, у которых нет посещений тем, удаляются.

Хранить записи о прочитанных темах, которые старее периода отслеживания новых, нет смысла. Такие записи удаляются, а дата первого входа на форум подтягивается до даты начала отслеживания новых (now - new_check_period).

У активных читателей часто бывает ситуация, что он прочитал многие или все темы с новыми сообщениями. Для этих тем были созданы записи в таблице прочитнных тем, но очищены они будут лишь когда истечет период отслеживания новых, а до этого момента они будут просто мертвым грузом лежать в таблице и утяжелять ее. Чтобы этого не происходило, при проверке новых также вычисляется время первого непрочитанного поста. Все записи до этого времени больше не нужны и поэтому удаляются, а дата первого входа на форум подтягивается до этой даты.

Для анализа и мониторинга я сделал техническую статистику:

http://nosql.ru/forum/load_statistics.php

Кэширование

При загрузке основного контента проверка новых не осуществляется, таким образом контент поставлятся быстро и не тратися время на ожидание проверки новых. Если инфа о новых есть в кэше, то она берется из кэша.

Реализована периодическая проверка новых в фоновом режиме. Этот скрипт подкачивает тэги [новые] в страницу. Первый раз проверка запускается сразу после загрузки и далее каждые N секунд. Благодаря тому что первый запуск фоновой проверки новых осуществляется сразу после загрузки основной страницы, устаревшая инфа, взятая основным скриптом из кэша, обновляется актуальной инфой буквально через 1-2 секунды.

Удалось сэкономить даже на фоновой проверке. Незачем ей зря гонять проверку и грузить базу каждые N секунд, если ничего не поменялось. Система проверяет - если после последней проверки не было новых сообщений, то даже фоновая проверка новые не вычисляет, а берет из кэша.

Реализована процедура гранулярной инвалидации кэша информации о прочитанных, по мере прочтения топиков.

Отображение

Топики с новыми сообщениями бывают 2х видов:

Просто топики с новыми сообщениями

Топики, которые ты уже посещал, и в них появились новые сообщения.

Совсем новые топики с новыми сообщениями

Новосозданные топики, в которых ты не разу не был. Метка новые у этих топиков несколько отличается по цвету.

Гарыныч,

уже починил. Спасибо за репорт.

Возникало только если у чела в профиле есть предпочитаемы форумы.

Так фича осталась, бага исправлена:)

Пашэ,

Я просил не поискать, а сообщать если случится. Так что всё ок.

Раньше у меня иногда переход по [новые] сбоил, сейчас пока больше не сбоит. Видимо работает.

Раньше при таком случае кидало в начало. Сейчас - на следующее валидное или если его нет, то на предыдущее валидное. Можно конечно подумать чтобы выставлять маркер новые с учетом игнора и удаления. Это конечно утяжелит запросы.

Сейчас сделано так. В таблице ридмаркеров есть дата последнего прочитанного юзером поста в теме. У темы есть дата последнего поста. Если она больше то ставим нью.

Нет. И не планирую. Открытие в режиме "все" это каждый юзер решает сам. Это я не навязываю ссылкой. Кроме того, тема может разрастись что вообще режим все будет недоступен.

Потому что ты выставил предпочитаемые форумы а приличный треп не поместил в их список.

Да. Форум да за бесплатно. Пока за него денег не поимел.