辞めた職場に顔を出し、近況報告するのは義務、常識、でしょうか？

元上司と話す機会があり、たまには顔を出せ、皆にあれだけ世話になったのに失礼だ、近況報告するのは当然だ、と仰っていたのですが…

個人的には、退職者は部外者であり、行けば気を遣わせるであろうし、忙しい時間に退職者が顔を出せば、人手不足で忙しい時間に辞めた人間が何しに来たんだろう、と思われるのでは？という思いがあります。
また、仕事、ですから、世話になった事と、好かれている事は別で、個人的に好かれていて仕事抜きで会いたいと思っているとは限らない、と考えていて、無理して付き合っていた可能性だってあるわけだから、何も考えずにズケズケと足を踏み入れて良いか…正直、自分がそんなに元同僚達に好かれていたという自信はありません。(上司視点だと、互いに仲が良かったように映るようです)
本当に繋がりを持ちたいと思うなら連絡は途絶えないでしょうが、各メンバーから特に連絡があるわけでもなく、皆心配している、気軽に顔を出すように、いつでも待っている、という上司の言葉が信じられない、と言いますか、かなりの温度差を感じます。

長く一緒にお仕事をしてきてお世話になったのは事実ですし、大変感謝もしていますが、その気持ちオンリーで無神経に元職場に足を踏み入れて良いのか、かなり悩みます(元職場は、店ですので、客として行くのは不自然ではないのでしょうが…)
元同僚を、多忙な状況の中イラっとさせに行くくらいなら、申し訳ないので行くのは遠慮したいのですが、それを伝えても、考え過ぎだ、皆待ってる、と…。

こちらの考えが非常識で失礼、なのでしょうか…？