周りから仕事を辞めることは止められてます。

現在障害雇用で会社に勤めています。業務補助的な仕事をしています。
先日、給与明細を私だけ約2日遅れて渡されました。そのとき担当者からは謝罪はなく、まるで言わなかった私が悪いみたいな対応をされました。
担当者は私の先輩で、普段から私のミスを指摘してまるで子供に叱りつけるような態度をとります。
2年働いているのにも関わらず、このような対応をされその先輩にも職場にも失望してしまいました。
このようなことになってしまったのは、私の（障害特性による）対人関係スキルや仕事のスキルに適正がないために、先輩や職場の信用を得られなかったことに原因があると考えています。変化もできなかったこともあると思います。
ですが、障害特性は勤める前に伝えてあるはずで、何もフォローがなかったことに失望も感じており、この職場で今後本当にやっていけるのか不安になりました。
現在、管理職に詳しい話はしてまいせんが、辞める上を伝えた上で有給があるのでそれを使って考えてくれと言われている状況です。

一方で定着支援を利用しており、その担当者には詳しい説明をしたのですが、仕事を辞めるのは考えたほうがいいと言われています。
しかしながら、仕事も限定的で、立場の違いもあり会話をするきっかけがほとんどありません。このことから、信頼関係を回復していく手段がなく途方に暮れています。
また、私も既に職場や先輩に対して信用することができなくなっており、その職場でやっていく自信がもう残っていません。
一方で、以前勤めていた会社でも似たような形で辞めているので、次の職場でも同じことが起こるのではないかと辞めるのを不安を感じています。

確かに私はミスが多く、対人関係が苦手です。
しかし、他の人のミスは私ほど咎められていないと感じています（私が見えないところでなにかあるのかも知れませんが）
ですが、２年間自分なりに努力して会社に貢献したにも関わらず、全く認めてもらえていないことが物凄く悔しいです。非正規障害雇用というものはこういうことなんでしょうか？
仕事を辞めるべきでしょうか？それとも続けてみるべきでしょうか。
障害雇用では職場で信用関係を構築するのは難しいのでしょうか。