自分のひどい言動は全く覚えておらず、こちらのしたひどい言動を責め立てる人は何故なのでしょうか？
また、その時耐えるしかない場合、どう自分と折り合いをつければ良いでしょうか

つい最近相談にのっていただいたのに、また違う苦しみが出てしまって、申し訳ないのですがお時間があればお願いします。

今私は主人に内緒でつくってしまった借金50万を返済中です。借金がバレてから毎日責められますがそれは仕方ないのですが、今日主人が、詳しい数字は忘れてしまいましたが、「俺が毎月2万を4年渡してたじゃん、それで100万じゃん、でお前毎月給料5万余るのが4年で250万じゃん、400万あるはずなのになんで借金したの？なんか反論ある？」
と、言ってきたのですが…もう、私が悪いのですが、言い返してもキレて暴れるだけなのがわかっていますし、猫もいるので危なくしたくないので耐えました。
ただ、結婚当初から「十万入れとくね」と主人が引き出しに入れても私は一円も使わず、1ヶ月しないうちに主人が使い切ってしまうことが何年も続いていたのですが、そのことは全く覚えておらず、お金を使っている様子もないのに10万もたまらない主人に、「どうしてかな？」と聞いて逆ギレした事も覚えてません。
ちなみに通帳はお互い管理しています。前に言ったとき酷くキレたのでもう言いたくありません。覚えてないことを俺はしたことないと言うので話し合いにならないからです。
借金は今のところ自分で少しずつ返しています。
話は変わり私の父なのですが私は父子家庭で育ち、毎日のように「死んでくれ。自殺してくれ」と言われ飼っていた犬が金属バットでいじめられていた事もあります。かばうと私もいじめられました。というか私がいる時しかやりませんでした。父は自分も死にたいお前がいると死にたい。としょっちゅう言っていて、私は一度だけ父の前で死にたいと言ったら、もう、毎日「お前は楽なのにすぐ死にたい死にたいと言う」と言ってきたので、先に書いた事を言うと全く覚えておらず、お前が勝手に作りかえた過去だ。最低だ。と言っていました。主人もそう言います。相手が覚えていない場合、ただ自分の非を謝るしかないのでしょうか。長くなってしまい申し訳ありません。借金は私が悪いのですが悔しくてご相談させていただきました。
よろしくお願いします。