Не только и не столько. Ещё и потому, что ты ему завидуешь. Пьешь морсик, а хотел бы водку - также, как и он.
Самые ярые трезвенники - завязанные алкоголики. Я, например, не завязанный, просто нет повода и не хочу.
А ты за соседним столиком хоть обожрись, я даже поржу немного.

Тогда и раздражения не было бы. Когда ты себя с пьющим даже подсознательно не ассоциируешь

Настроение у тебя подсознательно уже испортилось, ибо пьёшь не ты