今月から新しい職場で正社員として働いています。以前は派遣で8：30～17：00、現在は9：00～17：00です。
ご相談したいことは、主人の帰りが早く派遣の時でも私より早い時がありました。なので転職（派遣は期限満了で終了）の際、残業がない所を探していたところ、家から30分で残業は１０時間以内基本なし、出向の可能性ありという内容でありました。職種も私のやりたい仕事だったので主人に相談したら応募してみたら？という返答だったので応募し面接して頂くことになりました。
面接の途中から採用決定で話が進みました。一番ネックだったのが残業だったので、普段は17時に退社したい、忙しい時は土曜出勤しますと言うことを伝えるとそれでいいですと言われたので入社しました。
1週間は面接に行った場所で就業しましたが1週間後から出向となり片道約1時間かかる場所になりました。就業先課長にうちの社長が残業の件伝えてもらったところ「17：30にならないか」と言われたのですがやんわりとお断りしました。
特例と言うことで現在17時に退社させて頂いています。
それによってやっぱりよく思わない人もいることはわかっています。
女性の方も4名いますが、うわべでは普通に接してくれていますが、なんとなく壁があり馴染むことができません。
家庭が一番なのでどうしても残業はしたくありません。

このまま今の状態を続けていいのか、やはり会社に迷惑を掛けてしまっていると言うことで他の会社を探したほうがいいのか悩んでいます。

うまく表現出来ませんが日々悩んでしんどいです。