彼の前職は俺と同じA型継続支援事業所（一般職で働けない人がこういった福祉事業所で働きます）で、今は障害者グループホームおよび消防団で同じになりました。
消防団全員には障害については伝えておらず、彼と言わない約束をしてました。
しかし、そんな俺の職場が消防団の1人の方にバレました。
その方は俺の障害を一発見破るほどの人だったので、お子さんと来た際に「やっぱりそうだよな」という顔で見られました。
そして、休みの日。なぜかどうしてもその人に伝えたくなってLINEで伝えると「大事になる前に退団をおすすめします」ときました。
ちょっと腑に落ちなったので友達やバレた消防団の方に相談すると「あいつのために辞めなくて良い」と言われました。

だから「やめるかどうかは自分で最終決断するので」と書くと「俺にめんどくさいからいちいちラインするな、俺に相談するな、一切関わらない」と来てイライラしてしまい、次の日の職場の昼煮出されたお弁当まで食欲なくて気持ち悪くなるぐらい精神が落ち込み、彼を殺しそうなぐらい殺気だってたので消防団の活動も欠席しました。
今俺はあの人のせいで消防団の関係を壊されてるんだなと思いましたし、同じ職場で働いている友達もその人のせいでまだ1人の友人の信用回復が見込めずあまり話さなくなりました。
そのきっかけも俺とその友人がただ玄関先で話してただけで嫌がらせしたそうで、俺も多分その前にそいつの友達とトラブったのでそれが原因かなと考えてていたりしています。
この場合はグループホームの方にも消防団団長にも伝えた方がいいのでしょうか？
また、今後どのような対応を取れば良いのでしょうか？
回答よろしくお願いします。

ちなみに今は俺はあの人を許せないのであの人の約束を破り、俺を障害者だと見破った方にあの人も障害者と報告しましたが、彼にはその人も障害者だと見破ってたようです。

また、その人は精神障害者、身体障害者の方、一般人のみ仲良くし、他の障害者の人には上から目線で見下したりしてます。