同じチームのメンバーと上司でご飯に行く話を断ってしまったことを後悔しています。

チームのメンバーと上司は数年前からの知り合いで、よく一緒にご飯に行っているらしいです。
私は今年からチームに入り、最近ようやく打ち解けてきたような感じでした。

ご飯に誘われたとき、私以外は全員参加で日時も場所も既に決まっていて、あなたも来る？といった感じでした。
その時の私は、他の人たちだけで話が進んでいるんだったら私は行くべきじゃないかなと思いました。
というのも、参加する人が全員男性でお酒も飲むとのことだったので、女でお酒も飲めない私が行くより、男の人だけのほうが楽しくご飯が食べられるんじゃないかと思ってしまったのが理由です。
なにより、私は寮暮らしで門限が厳しく夜は出歩けません。
外泊許可が降りれば行けましたが、私が行くか行かないかをチームで話していたときに、厳しそうだからご飯はまた今度みたいな感じのことを先輩が言ったのを聞いて、じゃあ行ったらだめかと思ってしまいました。

上司はこういうのは参加したほうがいいとおっしゃってくれましたが、本当は行きたいけど色々考えると行ったら迷惑かけるかもという思いがあり、結局断ってしまいました。

その後、誘いを断られたことをみんなが残念がっていたと聞いて、行けばよかったと後悔しています。
誘いを断るとき、本当は行きたいと思っているという部分を伝え忘れて、チームの人や上司には私が行きたくなくて断ったと思われているようで、今後はそもそも誘われなくなるかもしれないと思うととても悲しい気持ちになります。

せっかく誘ってくれたことを素直に受け取れず、変に勘ぐってしまって、行きたいか行きたくないかじゃなく、行くべきか行かないべきかで考えてしまったことが本当に心残りです。

長々とまとまりもない文章ですみません。
ただ誰かに聞いてほしかっただけです。
やってしまったことはもうどうしようもないし、自分の責任なので受け入れるしかないのですが、ずっと落ち込んだままで暇さえあれば後悔してばかりです。
せっかく誘ってもらったのに、こんな考え方をしてしまう自分を直したいです。