不倫をしており、相手には辞めたいと伝えています。

彼は私と出会う前から、四年前の単身赴任時代に離婚裁判も起こし離婚をしようとしましたが、裁判には負けて離婚出来ませんでした。
離婚したい理由は、奥様からの精神的苦痛。
帰宅すると何故帰って来たのか、家族リビングに行くと半径1メートル以内に近づくな等の暴言を吐かれたりし、精神的苦痛で泣いたりしてもうるさい1人で部屋で泣いてよなど言われるそうです。
プロポーズもしておらず相手が結婚しないといけないように迫られ結婚はしたが、した瞬間態度は打って変わったそうです。
離婚出来ず、今年単身赴任から帰ると勝手に引っ越しもされ、且つそのお金も勝手に彼の口座からローンを組まれ、引き落とされていたそうです。
また、彼が単身赴任時代に一括現金で購入した車も、訳あって先月調べたら何故か保有者が奥様に変えられていたりし、彼が言うにも本当にお金目的だとの事です。

現在彼は奥様と同居しておりますが、ほぼ部屋に引きこもり状態です。
そんな中私と出会い、悩みなど聞いたりする事で不倫関係になってしまいました。

私は友達に相談するとその友達を失ったりもし、自分の両親も悲しむ。
罪悪感でいっぱいいっぱいで
虚しさもあり、別れを切り出しましたが
彼の方が私がいないと生きていけないと離れてくれません。
彼は今でも精神的苦痛で一緒に暮らせないと奥様に離婚意思を伝えているのに奥様は子供を理由にし、離婚しようとしてくれないそうです。

※ちなみに前回の裁判の時はありえない金額お請求、且つ子供はいらないから彼が育てるか施設に入れろと言われたそうです。

私はもうこんな虚しいのも嫌だし、悪い事をしているのも嫌で辛いです。
でも、彼が生まれて初めて本当になんでも話せる人、人として女として全て私のことが大好きで、一生一緒にいたい気持ちは分かります。
彼は精神的に病み何度か入院もし、私がいないと倒れてしまうのも分かりますが
私はそんな離婚が終わるのを待てないし、関係を続けるのも辛いです。
私はバツイチでも子連れでもなく、普通に愛し合って結婚をし、両親を喜ばせたい気持ちがあります。
でも彼を好きな気持ちは変わりません。

長くなり申し訳ございません、どうすれば良いのでしょうか、心が晴れるアドバイスを下さい。