同い年の上司を好きになってしまいました。

上司とは一緒に仕事を始めて一年になります。ただ好きなだけなら良いのですが、社内で仲が良い女の子と上司のあやしいところ（お休みが一緒だ、とか昼休みに出かけた時間と帰ってくる時間が一緒だ、とか）を見つけては、不倫関係なのではないかと疑って苦しく、パニックになります。

決して上司が不倫をしているところを見たわけではなく、上司が過去勤めていた会社で不倫をした、という噂があったり、上司の見た目や立ち振る舞いが多少プレイボーイっぽい、秘密主義、仕事中によくスマホを見ている、など状況証拠を集めてはひとりで具合が悪くなってしまいます。

まるで誰かにわざわざ証拠を見せつけられているようで、苦しいです。大丈夫、信じようと前向きになる度に、またあやしい点をみつけて引き戻される、の繰り返しです。

もちろん、私も彼も既婚で子どもがそれぞれいます。不倫したところで（相手の気持ちは知りませんが）、また後悔で悩むことはわかっています。

上司と仕事をするのは楽しいし、今の仕事はやめたくありません。

上司といると安心して変な気は起こさずに済むのですが、帰宅後や昼休みなど、一緒にいないとき不安で仕方ありません。上司は私のものではありませんし、上司に不倫しないでなんて言えないことはわかっています。

自分はどうしたら、どうやったらこの不安から抜け出せるのか、知りたいです。
私は、これからも安心して楽しく仕事に取り組みたいのです。家族を1番に考え、楽しい人生を送りたいのです。

このまま仕事を続けて、楽しく人生を送るのは不可能なのでしょうか。どうやったらこの霧から抜け出せるでしょうか。