人間関係の保ち方で悩んでいます。

先輩から趣味のサークルに誘っていただいたり、以前の職場で今もボランティアとして関わりを持たせていただいたりしています。
周りの方は良くしてくださることが多く、自分は人のご縁に恵まれていると感じます。

ただ、自分自身の本当にしたいことというのも最近見えてくるようになりました。
最初はついていくのに必死で、一心にサークル活動や仕事・ボランティア活動に参加していましたが、今では、それらの団体の考え方や趣旨に心から賛同することがどうしてもできず、違和感や心の苦しさを感じます。
また、非定型うつ病を患っているため体調が不安定で、サークルの練習やボランティア活動を欠席することも多いのですが、活動に貢献できていない自分が申し訳ないですし、最近では周りからも腫れ物のように扱われていると感じることが多くなりました。（考えすぎかもしれませんが……）
そのため、それらの関わり、団体からいったんきちんと抜け出たいのです。これ以上ずるずると在籍していても、おそらくこれからも貢献できることはほとんどありません。
もちろん、喧嘩別れのように抜け出るつもりは全くなく、なるべく円満な形で脱退したいと望んでいます。

誘っていただいたり良くしていただいたりしているのに、違和感を感じ、それらの方々の優しさを捨てようとする自分が、情の薄い人間のように思えてなりません。
腫れ物のように扱われ、それに気づかないふりをしたままでいることには耐えられません。でも、人間関係を永続的に保てない自分、身勝手極まりない（ように感じられる）自分に嫌気がさすときもあります。
今までも、新しい場所に飛び込んだときに新たな人間関係を築くことはできていたのですが、ご縁を一生ものにできない自分は人間として何か欠陥があるのではないかと悩んでいます。

こんな私に、お言葉をいただけますと幸いです。