旦那の実家へ行く度に病気になります。

５月連休で旦那の実家へ行ったその日に、３歳の娘は高熱を出し、夜間救急病院へ連れて行き、今現在私と２人で副鼻腔炎です。辛いです。３月に旦那が新幹線に乗って、連れて行きました。帰ってきたその日に高熱を出し、２週間病院通いでした。正月に行った際は４１度の熱を出したのをきっかけに、１週間以上３９度前後の熱を出し、インフルエンザで３週間病院通いでした。その前は、行ったらヘルパンギーナにかかり、中耳炎で１カ月病院通いで、、、
旦那の実家に行かなければ、全然病気をしません。風邪すらひかないんです。車で行っても新幹線で行っても、旦那の実家に行ったとたん病気になります。
だから、行きたくないんです。行ったら必ず娘は病気になって、私も２回に１回は病気になるので、本調子では無い体で娘を病院に連れていくのは辛いです。
旦那の実家は、正直不潔です。いつ死んだかわからない大きい虫が、寝ていて寝がえりを打って、目を開けたらいた時があり、ものすごく驚いたこともあります。
行けば数日滞在になるんですが、掃除機をかけているのを見たことがありません。トイレも掃除をしているようには見えないです。
不潔が原因で病気になるのか理由が分からないのですが、行くたびに必ずで嫌になります。
私が義母に「うちにいるときは、全く病気しないのに、なぜここに来た途端、高熱を出し病気になるんでしょうかねぇ？」と聞いたら、他人事のように「私の友達も、孫が遊びに来ると熱を出すって言ってるし。」とまるで他人ごとです。たまにの病気なら分かりますが、毎回ですよ！
とにかく娘を人ごみに連れまわすので、止めてほしいと言いましたが、聞く耳持たずです。
どうしたら、いいのかわかりません。
旦那は「じゃあ、もう泊まらなきゃ良い。」と簡単に言いますが、長男なので行かないわけにも泊まらないわけにもいきません。旦那の実家で病気になるので、その後に私の実家に行けなくなることもしばしばで、義両親は私が実家に帰れないことをなんとも思ってなく、熱を出してかわいそうだから寄らないで帰れと言います。楽しみにしているうちの親は、数か月会えないこともあります。（うちから両実家まで車で８時間かかるんです。）だから、義両親に対し、嫌悪感でいっぱいです。
文章が滅裂ですいません。看病に疲れ切っています。どうしたら良いんでしょうか？