私は両親に反対されていた方と授かり婚でした。
籍を入れる際も反対されましたが、私がもういいや、主人と生まれてくる子供を大切にしようと決めて反対を説得するのを放棄して子供が生まれてから一年会ってませんでした。
もちろん両家顔合わせ等していません。

一歳になったことをきっかけに今のまま家族に不幸があったら後悔すると思い、連絡をしてみたら、私と子供に会う分にはなにも問題ないが主人には会いたくないようなことを言われました。

反対されていたときにさまざまな暴言を吐かれたり周囲に色々と言われて仕事の邪魔をされたりしたことにより、主人は私の両親に2度と会う気はないそうです。
私と子供が実家に行くことも嫌みたいで行った際1日口を聞いてくれませんでした。
それ以降私が実家に行く時は主人には言わずに行ってます。

今は子供がまだ言葉を話せないのでいいですが今後このままでは良くないと思いつつ、自分が実家に時々行きたいと主人に相談すべきか、主人に合わせて実家には行かずに自分の家族を優先すべきか迷っています。

義両親からも今のままでは子供がわかるようになったらどう説明するんだと言われますが、主人が自分の親に会いたくないらしいと伝えても私の両親が許す気がないならダメじゃないかと言われて間に挟まって正直しんどいです。

私がその時その時で決断を逃げて思っていることを口にしないことが今の状況を招いてしまったと思うのですが、もう主人と両親が確実に不可能だと見ていて思うのでどうしたら良いかわかりません。私はなにを大切にするべきなのでしょうか。