みなさんはどうですか？

はじめまして。四歳の娘と三ヶ月の息子がおります。
私の悩みは主人の親との付き合い方です。
主人の親と一緒に自営業していて、実家から車で５分の所に住んでます。
娘が生まれた頃から毎日のように祖父・義理父・義理母がそれぞれ別々にうちに遊びに来るようになりました。毎日毎日入れ替わり来るので寝る暇もなく、さすがにノイローゼになり主人に間に入ってもらい少しは減ったのですが…
もともと人とは距離をとって付き合う方なのでベタベタした関係が窮屈でたまりません。

主人の実家に私たちが遊びに行くことは年に５回程しかなく必ずうちに遊びにくるという形に定着してます。
(連れて行こうと思う前に向こうが来るという感じなので…)
普通は実家に孫を連れて遊びに行くものではないですか？
皆さんはどうでしょうか？
うちは狭いアパートなので客間もなく突然来られると下着を干していたり…見られたくない物も沢山あります。
私達が実家に行く形にすれば祖父・父・母と三倍かかる時間も短くできると思います。
その事を主人に言ったこともありますが、仕事でも一緒なのに実家にわざわざ行きたくないというのです。
間に挟まれて主人もストレスを貯めているだろうし、喧嘩もしたくありません。

この定着した形をどうすれば変えられるでしょうか？
また子供が何歳位になればジジババの訪問回数は減るものでしょうか？
アドバイス下さい。