現在私にはお付き合いしている女性がいます。遠距離ですが今年で3年の付き合いになり仲良く過ごしています。

半年ほど前から彼女は同棲をしたいと言ってきます。
ただ私には結婚や同棲願望はありません。
また今の彼女とそのような気にはなれない理由が2つあると感じています。

1つは、彼女の散財癖を知っているため倹約家な私とは合わないと感じているからです。

2つ目は育ってきた家庭環境の違いです。私は両親の仲が悪くあまり結婚・同棲中の生活に楽しいイメージはありませんが、彼女の家は家族全員仲が良く結婚=幸せというイメージを強く持っているようです。

これらの理由から彼女とこれ以上の関係になることができないままでいます。

そんな中、私の内面を変える出来事がありました。

私の職場には仲の良い同期が3人います。
いずれも女性ですが価値観や性格が合い、仲良く過ごしています。特にそのうち1人(Aさん)とは仲が良く、なんでも相談できるような間柄です。

ただし彼女にも悪いので飲み会等の食事に行くのは月1回ほどに抑えており、もちろん2人きりになるようなこともありません。
私に彼女がいることも知っています。

そんな中社内での旅行があり、社内全体での懇親会の後、同期の部屋で一緒にお酒を飲んでいました。
そこで夜中まで話しながらお酒を飲んでいたところ、いつのまにか私は床で寝てしまっており、1時間ほど経って寒気と尿意で目を覚ましました。
その際、Aさんだけがまだ起きておりトイレから戻った私に水をくれました。そして私がくしゃみをした際に風邪を引くから一緒の布団で寝ようと話され、酔っていたこともあり朝まで同じ布団で寝てしまいました。肉体関係は持ちませんでしたが手を繋ぎながら寝ている際に私は浮気心を抱いてしまいました。
Aさんは私と金銭感覚も近く、非常に趣味や気も合います。
はっきり言って、彼女以上に気が合い、この人とならずっと一緒にいたいと思っている自分がいます。人として最低であることは重々わかっていますが、この気持ちを抑えることができません。
私は今まで彼女以外の女性と付き合ったことはありません。浮気も一切したことがなく、これからするつもりはありません。

私は彼女と別れてAさんに思いを伝えるべきでしょうか？
ご意見をいただければ幸いです。