前にも何度か質問させていただきました

ダブル不倫をしていました
が、彼が私と縁を切りたいがために奥さんにカミングアウトしました
(物的証拠などは何もない)
そのやり方にとても腹が立ち、それからもなんやかんや言い争いのようなものはありましたが、向こうの奥さんが
これ以上関わりたくない と
私が何かしなければこちらも何もしない
だけど何かヘタなことをすれば裁判でもなんでもするぞ 的なことを言われ、こちらもそれからはおとなしくしていました
が、半年ほど経って彼から連絡があり
奥さんが思い出し怒りで離婚するとか言ってると…
もしかしたらうちにも何かしらのアクション起こすかもしれないと…

不倫の時効はその事実を知ってから3年 とは聞きますが、何もしなければ何もしない という話でこちらもおとなしくしてたのに今更思い出し怒りで難癖つけられても困ってます
奥さんの携帯宛に非通知がよくかかってくること、怪しい車が最近停まってること がどうも私がしてるのだと思われてるようなのです
私は奥さんの携帯番号を知りません
うちと彼の家は片道200km近く離れてるので車も私ではありません

彼が奥さんにカミングアウトしたといっても物的証拠もないため私は何も認めていません
ですが、奥さんを傷つけてしまったのは事実なので、奥さんが私を恨むことも仕方のないことだとは思います
ですが本当にこの件について私は寝耳に水で、それをきっかけに向こうが騒ぎ出したからと彼から連絡をもらい、どうしたものかと考えています

ちなみに離婚はしないけど別居する ようなことに話が落ち着いたようですが私の職場や私の旦那に彼との関係をバラす ようなことを言ってるようです
何で私だけが傷つかないといけないの!?的なことを言われてるようです

どうしたらいいですか？