初めての質問です。
長文で読みにくい文章になっているかと思いますが、お読みいただけますと幸いです。

私は今、ある知人との関係に悩んでいます。

その方は年上で、趣味を通じて知り合った方です。
少し前まで、趣味の場で会うたびに頭を叩かれたり髪型を崩されたりして苦手でした。

しかし、顔が広く気遣いができ、きちんとした考えを持っている方なので、最近は趣味の活動の場以外に2人でご飯に行ったり、たまに個人的な相談をしたり話を聞いてもらったりしていました。

その方は「見所のある年下の人間には目をかけて、ちゃんとアドバイスをする」という持論を持っており、実際相談したときに「自分の考えとしては～」という形で参考になるご意見をいただくこともありました。

先日その方と他の知人と一緒にご飯に行った時に、話の流れでその方から、「君いるだけで幸せを振り撒いたことある？君大体不幸振り撒いてない？」と言われました。

どんな話の流れだったかはっきり覚えていないです、ただこの言葉だけがずっと頭に残っています。

私の話ですが、ここ1年ほど精神的な疲れや迷いなどがあり自分を見失うことが多々あり、いろいろな方に失礼なことをしてしまったり、自分の意思とは違う言動をしてしまうことがあり、多方面にご迷惑をおかけしていた自覚はあります。
負の感情を纏っていた自覚もあります。

それでもご飯に誘ってくれる知人や頼ってくれる知人もいました。

以前もその方に「君はどちらかというと常識人ではないよね」と言われたことがあり、とても悔しくて『このままじゃいけない』と思い、知識をつけるためにいろんな本を読み始め、自分を変えるために新しい趣味を作りました。

しかし、今回のその言葉で『他の知人もそう思っているのでは』『私は何をしても変われないのでは』と思っている自分がいます。
もうその方や他の知人に会うのが怖いです。

本題の悩みですが、今回の件でその方と会う可能性のある趣味のコミュニティから抜けようと考えていますが、半年はその方とお会いしなければならない事情があり、どう接すればいいかと悩んでいます。

その方や他の方に萎縮しないよう、自分を保つにはどうしたらいいのでしょうか。
また、今回の発言をどう受けとるべきでしょうか。
前向きになれる考え方があればお聞きしたいです。

よろしくお願いいたします。