はじめて質問します。
私は障害者施設で働いています。

私自身も精神障害で少しだけ苦労することも
ありますが、なんとか毎日頑張ってます。

そこの施設で働いて2ヶ月になりますが
好きな男性が出来ました。
聾唖（耳が聞こえない喋れない）の男性です。

ちなみに年齢は正直に言うとうちの父より年上の方です。
30歳以上年上の方です。

会話をするときは手話や筆談で自分の意思を伝えます。

私が精神的に落ち込んだり、辛かったりすると手話で
「大丈夫か？」
と聞いてくれたり、部署は違うけど
たまに、心配して私の部署まで来てくれたり
します。

ある日、喧嘩して

「あなたが俺を好きなのはわかってるけど、俺はあなたが嫌いだ、それから俺以外の男と話すな！」

と言うのを言われました。

私はショックで泣きました。

しかし、
数日後、彼から謝ってきました。

「あの時は責め立ててごめんね。娘みたいで、可愛がってたから悪く思わないでね。それからお父さんだと思ってね。」

あとから、私の部署の先輩方に話を聞くと

「あの人はね…。かなりのヤキモチ焼きだから気をつけた方がいいと思うよ。あなたが女性同士話してたとしてもヤキモチ焼くくらいの人だから、男性に仕事だとしても話してれば狂ったようにヤキモチ焼くと思うよ」

と言われました。

でも、私はどんなに悪いとこをみても
やっぱり好きです。

だけど、先輩方には

あの人だけはやめたほうがいい。
好きにならないほうがいい。

と言われます。

でも止められると余計に好きなのが加速していきます。

私はどうすればいいでしょうか？