私には今交際して半年の彼氏がいます。私よりも賢く大人な人でいつも私を引っ張って、時には叱ってくれました。

ただ、先月頃から彼の友人（女性）が彼に相談をするようになりました。それ以降四六時中彼には友人から相談のLINEが入り、デート中でも睡眠中でもひっきりなしに彼にLINEが入るようになりました。私とのデートもそれにより中断されたり、キャンセルされるようになりました。
彼はその度にすごく申し訳なさそうな顔をして謝ってはくれますが、その女性のもとに行ってしまうことが私は凄く寂しくなってしまいました。
元々自分に自信がないこともあり、卑屈な発言をするようになり、彼がせっかく時間を作って会ってくれても、喧嘩ばかりするようになってしまいました。私から別れ話を出してしまったこともあります。でもその時彼は「煮詰まってるときにはすぐに回答を出すな」と言い別れ話は拒否されました。
その後連絡をとるも「忙しい」「今トラブってるからまた連絡する」と言われ連絡頻度も低くなりました。
忙しいとの話だったので、家事の手伝いができればと先日彼に連絡することなく彼の家に行ってしまいました。（彼の家の合鍵を持っており、今までも何度も彼の家には行っていました」）
その際、彼が友人と何度もSEXをした後を見つけてしまいました。
無断で入ったことを怒られたので謝りましたが「お前のせいで俺の努力は台無しだし、友人に申し訳ない」と言われました。
友人さんは重度の精神疾患持ちで、私が家に入ったことによりその精神の均衡が乱されたとのことでした。
ただそれまでは友人がいつ来るか等の連絡をくれていたし、事前に私にそれを言ってくれていれば私は行かなかったと彼を責めたくなる気持ちがあります。
彼は最後に「忙しくて寝てないから、連絡するのも辛い。もうこちらから連絡するまで連絡も何もするな」と言ってきました。
疲労している彼にも精神病持ちの友人にも迷惑をかけたことは、申し訳ないと思います。でも友人にはそこまでの配慮ができて私にはそういう配慮や気遣いの言葉がないかと思うと、すごく辛いです。
彼とは10年間友人をしてきました。
今年彼から思いを告げられ半年を一緒に過ごしてきて、このような形になってしまったことがすごく悲しくどうしたらいいのかわかりません。落ち着いた彼の連絡を待つべきか、別れを選ぶべきか、どうしたらいいでしょうか