お世話になります。
職場で上司との距離感が近すぎて困っています。適度な距離感を保ちたいです。

上司：50〜60代男性、既婚、社の代表
私：20〜30代女、独身、婚約中の彼氏がいます

上司からの誘いにまともに対応することが疲れました。

勤務中のランチや複数人での集まりなら気になりませんが、
出張先で上司と朝昼夜食事を一緒にとるからか、通常勤務日の定時後の夜ご飯、休日には映画や食事、泊まりの旅行に誘われます。

私が休日でも、私の予定を聞かずに予約や支払いを済ませてしまい、断りづらいです。
また「食事や外出をすることで養われる感性は、これからの仕事に役立つ」と言われます。たしかにそうだとも思います。

他の社員が上司の誘いを断ると、陰で私へグチグチ文句を言います。ストレス発散なのかと思って聞いていました。

以前就業後に「まだ帰り道？」とLINEが来たため「自宅に着きました」と返信しました。
翌日出社したら「食事に誘おうと思ったわけではなく、仕事で緊急の電話をしたかった。それなのに自宅に着いたとだけ返事が来て、普通は何か用事がないか聞き返すべきではないか？」と酷く怒られました。
(ただ上司の言う緊急案件は、上司宛にメールが来ていないかの確認でした。上司宛のメールなので聞かれても答えようがありません)

話す時に物理的距離が近いこと、肩を叩くなどの軽いボディタッチも不快です。

以前上司と二人で食事をしていた際に社会問題でパパ活の話題になり、「パパ活の何が楽しいのか？自分は(私)とご飯食べている方が楽しい」と言われました。
私はお金や残業代もいただいていないし、上司と男女の関係もありません。
なぜパパ活と比較されたか疑問です。

社内にコンプライアンス部署や労働組合もありません。
社内で変に噂が立つことも怖いので、気軽に相談もできません。

今付き合っている彼氏と、ゆくゆく結婚したいです。彼氏は優しいので、上司と出掛けると話しても送り出してくれます。
上司の誘いを断れない自分を情けなく感じます。

仕事は続けたいです。
でも仕事を続けたら、上司と二人きりになる時間はこのまま減りません。会社に行くのが億劫です。
ただの上司と部下、距離感を保ちたいです。

とりとめのない文章で申し訳ございません。