何度も質問させていただき、申し訳ありません。いつもありがとうございます。

好きな人が出来ました。
その人とは6年前に4ヶ月だけお付き合いしたことがあります。その時はお互い若く、彼の仕事に対する考え方が甘かったので責めてしまい、お別れしてしまいましたが、(振られてしまいました。私は嫌いになって別れたのではないです。)友達としてその後も年にほんの数回メールをしていました。メールは彼から来たり、私からすることもあります。

私に持病があること、この彼と別れた後に結婚→離婚したことも知っています。離婚してから会うようになって、何で私が離婚したのか話しましたが彼は黙って話を聞いてくれました。

私は離婚して3年経ちますが、様々なイベントに誘ってくれたり1時間会ってケーキを食べに行ったりと3.4ヶ月に1回くらいのペースで会う関係となりました。
つい最近、イベントに誘われて一緒に行ったのですが、やはり彼といると居心地が良く何でも話せて気遣いもしてくれる、優しさに触れてこの人といたいと思うようになりました。ただ私は振られた側だし、色んな邪魔なものを背負っているし(話は聞いてくれたけど、受け入れてくれているかはわからない。)この気持ちはどうすれば良いでしょうか…？
私から告白したとして振られたら気まずくてもう会ってもらえないんじゃないか、そうなることが怖くて仕方ないのです。
それならこの気持ちは押し殺して友達として会えていた方がいい…。
もっと他に目を向けた方がいいのか…。
それとも友達だから上手くいっているのか…。
よくわからなくなってきました。
アドバイス頂けると幸いです。よろしくお願い致します。