お世話になります。

私は昔から、人に言い返したり、言い合いをするのが嫌いです。
その為、小学生の頃から何度もイヂメにあったりしてきました。
が、見る人は見てくれるもので、先生が背中を押してくれてイヂメを気にせず学校に通い続けたり、自分の学力に自信をつけ明るく生きてきました。

大人になってからも、イヂメの話をすると「あ～、イヂメられそうだよね」と笑われたり、上司から私にだけ言いたい放題言われたりして、人より苦労して社会人生活送っています。

彼氏とも喧嘩はしたくないので、何かあればこちらから謝る(彼氏からは謝らないので)、丁寧に気持ちを伝える、行動で示す…といった具合に、仲良く過ごしてきているうちに、段々と私に対して我儘になって色々要求が激しくなってきて(服装や髪型など)…周りからは、甘やかし過ぎと言われたりして、さすがに私もそう思う時もたまに…、我慢の範疇ではありますが。

優しい、賢い、穏やか、とは言われても、それを逆手にやはり、付け込まれて無礼な発言などされることもしばしばです。
「言い返せば良いのに」「甘く見られてるんだよ」と親しい人には言われても、どうせそういう人には言っても理解されないですし、相容れない人と価値観的な会話をするのも煩わしいので…。

相手のことを考えて言い返さないのではなく、もう諦めているから、言い争っても意味ないから、平穏に波風立たせずに生きたい、という感じなのですが…やはりみなの言う通り、言い返した方が良いのでしょうか？
こちらが傷ついている、その発言は無礼なのだと、相手に知らしめる必要性があるのでしょうか？

そう考えるだけで、なぜかとても面倒でストレスが溜まりそうで…だったら我慢してその場は笑顔で知らんぷりして、身近な人とお互い愚痴りあったりしている方が、自分的には楽なんですが…。

最近、精神的(上司との関係など)・物理的な仕事のストレスと疲れで倒れて以来、少し色々、考え直しているところです。
アドバイスお願い致します。