はじめまして。よろしくお願いいたします。

現在、事務職の転職を繰り返しており先が不安です。
転職の原因は主に人間関係です。
就業先で自分と考え方の合わない方がいらっしゃると、
どうしても信じられないし、白か黒か、合うか合わないかで判断してしまって、
好きと嫌いの間が無く、嫌いな方が居るというだけで辛くなり、
その人のことで頭がいっぱいになり会社を辞めてしまいます。
他者には濃淡があり、色々な人がいるからこそ成り立っているということは、
会社を離れて冷静になって考えると頭では分かっているつもりなのですが、
いざ会社でその方と触れ合うと、冷や汗が出てきたり、話したくないという気持ちでいっぱいになります。
そしてどの就業先でも必ずそういった事が起きるために、次の就業先を探すのがとても怖くなってしまいました。
学校を卒業してすぐに入った会社で、女性の上司にかなりのパワハラを受けたため、
それから女性は怖いものとしてインプットされてしまったのも原因としてあるかと思います。

また、女性の職場ということもあり、誰かの悪口を言い合ったり、一緒にご飯に行かないと白い目で見られたり、
仕事中に雑談をしないと変な人のように見られたりすることが嫌で、
自分を曲げてそのようなコミュニケーションを自分も取ってしまうことに疲れてしまいました。

ですが、プロフィールに記載した、もうひとつのお仕事の方はとても自分に合っています。
理由としては、まず一人で淡々と仕事をこなし、自己完結できること。
そして事前にネットなどで自己開示をしているため、ある程度私の人となりを分かっていて、価値観の合うお客様が来て下さるからです。
しかし、そちらのお仕事は世の中的には悪いものとされていますし、
そちらのお仕事だけやっていてはリスクがあることも承知しています。

誰にでも言える職場で長く働きたいです。
仕事そのものは好きなので、人間関係だけがとても辛いです。
私はどのような心構えでいれば良いのでしょうか。