量販店に勤務しています。
新卒入社後５年で産休育休を取得し、先日約1年休んでいた仕事に時短勤務で復職しました。
その復帰初日の朝に店のマネージャーに言われた言葉に素直に納得できず相談にきました。

短い社歴で育休を取って戻ってきたというのは10年働いて育休取って復帰したのとはわけが違うのだから新入社員として扱う。
皆は定時まで働くけど貴方は先に帰るわけだから、それをよく思わない人もいることを忘れるな。(３時間早く退勤させて頂いてます)

相手も多少言葉を選んでいる様に見えましたが、概ねこのような趣旨のことを言われました。

その上、私の入社の次年度に入社した社員が同じ店舗にいるのですが、その社員は私が休んでいた１年間も休まずに仕事してきているわけだから、社歴は変わらないと思え。先輩面はするな、と釘を刺されました。
私はそのような態度を取る気は全くありませんでした。

私は産休育休を取得させていただき、時短勤務で職場復帰させていただく、という会社に対しての有り難みを重々感じて復職したつもりです。
時短勤務に対する申し訳なさも誰に何を言われずとも毎日感じています。

しかし、店長に言われた言葉を思い返していると、短い社歴で育休を取得後時短勤務で仕事に戻ると、ここまで言われなければならないのかという疑念と悲しみが込上げてきます。
会社に備わっている制度を正当に利用しているのに、と。

このような考えを持つ人の下で働きたくないとも思い始めました。
まだ仕事に戻って数日ですし、ここで辞めると迷惑をかけることになるのはわかっていますが、肩身の狭い思いを強いられ続けるのではと考えると早く環境を変えるべきなのではとも感じます。

私の考えは間違っているのでしょうか。
マネージャーの考えとその考えを私に伝えたということは尤もなことなのでしょうか。
私はこの仕事を辞めて他の仕事を探すべきか(退職してすぐに金銭的に困るということはありません)、それともマネージャーへの不信感を捨てて考えを改め今の仕事を続けていくべきなのでしょうか。

長々と書いてしまいましたが、ご教示いただければ幸いです。