現在結婚4年目で、夫婦二人暮らし、子供はまだいません。
夫婦ともに同じ県の出身で、片道3時間くらいかかる距離にあります。

夫は長男で、義父からは帰省するたびに「いつになったらこっちへ戻ってくるのか」とか「子供はまだか」と言われ続けていますが、
私はしばらく同居するつもりはないと夫に伝えてあるので、返事をはぐらかして何とか受け流してきました。

ところが、今年急に義父が「二世帯住宅を建てる」と言い出したのです。
私達には寝耳に水だったので、びっくりしてその場では何も言い返せませんでした。
あまりにも私たちが義実家に戻ってくる気配がないので、強硬手段に出たようですが、私は戻りたくありません。

というのも、私は過去にパニック障害になったことがあるなど、精神的に強くないのです。
義父から子供についてプレッシャーをかけられると、その後しばらく精神的に不安定になってしまい、街で親子連れを見かけるだけで胸が苦しくなり、過呼吸になってしまったりします。

今は年に数回のプレッシャーに耐えれば済むので、何とか持ちこたえられていますが、二世帯とはいえほぼ毎日のように顔を合わせる環境におかれてしまったら、私は精神的に参ってしまうと思うのです。

義母はすでに他界していますが、義父はまだ健康だし、
二人の義姉のうち一人が義実家で同居、もう一人も義実家のすぐ近くに住んでいるので、何かあっても対応できる状態にあり、
今すぐに私たちが義実家へ戻らなければいけない理由は特に見当たりません。

何とか二世帯住宅の計画を取り下げてもらいたいのですが、私の精神的な問題を正直に伝えるのははばかられますし、どう説得したらいいのか悩んでいます。

友人に相談すると、「二世帯住宅が完成してしまっても、引っ越さなければいい」と言ってくれましたが、義実家との関係が悪化しそうなので気が進みません。

私はどうするべきでしょうか。ずっともやもやし続けて心が晴れません。
アドバイスいただけますと幸いです。
よろしくお願いいたします。