ひきこもり義弟のいる実家に行くかどうか

どこに投稿したらよいか悩みました。
ここで、私の悩みを聞いてもらえますか？

結婚して5年。旦那の実家には数えるくらいしか行っていません。
30代の義弟が10年ほどひきこもりだからです。
結婚の際には知らされず、あとで知ったことです。
義親からきちんとした説明がなかったので、今も触れないようにして、知らん振りをしています。

子供が生まれて、義親がうちに来る機会は増えました。
しかし、子供を連れて行ったのは1回きりです。
私と旦那との話し合いで、安全が保証されないうちは連れていかないことになっています。

それなのに義親は、義弟のことなど何もなかったのように、遊びにおいで・泊まりにおいでと、頻繁に誘います。
最近は夫までもが、私は行きたくないなら行かなくていいから子供と2人で実家に行く、と言っています。
私は、行きたくないとかそういうことじゃなく、いつ爆発するかも分からない義弟のいる家へ、気安く行けるはずがないと言いたいのです。

でも、そんなことをストレートに言うと、さすがの旦那も怒ると思うんです。
偏見はいけないのかもしれませんが、怖い事件が多いのに、そんな状況の中、わざわざ行くことないと思うんです。
私の不安を分かってもらうには、どう言えばいいのか、分かりません。
意見をお聞かせください。