11歳下の彼と交際1年半、同棲して5ヶ月になります。
先日、初めて彼氏が飲み会に行き朝帰りをしました。
元々お酒も飲み会も大好きだったのですがコロナの影響もあり、久しぶりの飲み会だったからか0時頃に「あと少し飲んだら帰る！」と連絡が来てからまったく連絡がつかず、そのまま朝の5時過ぎに帰ってきました。
浮気の心配があるというわけではないのですが、朝帰りはさびしいなという気持ちがあり、以前会話していた時も「朝帰りはちょっとやだな」と伝えたところ「さすがに朝帰りはないよ〜」と言ってたのでどうしてだろう…と思い彼に聞いてみたところ
「会話の中でさすがにしないよとは言ったけど約束したわけじゃないし」と言われ

また0時過ぎの連絡のみで朝帰りしたのだからせめて「おそくなっちゃってごめんね」ぐらいの一言は欲しかったと伝えたのですが「朝帰りしちゃだめなわけじゃないし、悪いことしたわけでもないから謝らないし、彼女がいる事でできない事が増えるのは嫌だから」と言われてしまいました。

私の心が狭いせいもありますが、やらないとは言ったけど約束事にしてるわけじゃないし！の言葉にひっかかってしまっています。またこの日を境に私に対して日頃から「好き」「可愛い」と言ってくれていたのがなくなりました。スキンシップはあるので私が気にしすぎだけなのかもしれませんが、、

根本的に私と彼では合わないのでしょうか。将来を考えての同棲なので色々と考えこんでしまいました。
彼の言い分にどうしても納得がいかないのですが、私の心が狭いのでしょうか。