同居をうまく断る方法（長文です）

こんばんわ☆
今旦那の両親との同居をどうにかしてうまく断りたいなと思ってます。
旦那の実家の土地は両親のものではなく、義母方の祖母のもので、祖父が亡くなってから、両親が同居して祖母の世話をしています。
義父の両親もまだ元気なのですが、持ち家ではなく賃貸のため、将来は今住んでいる土地を受け継ぐような話になっています。
旦那は長男で結婚前に「祖母が亡くなったら家を2世帯にして同居」の話が出ていました。

結婚前は「彼の両親も優しいし、将来同居してもいいかなぁ」と思ってたのですが、
結婚後、コーポに連絡もなしに突然やってくるし、
義父なんかは、インターホンやノックをせず、
突然ドアを開けて入ってこようとします。
旦那が夜勤なので、戸締りは常にしてるのですが、
正直不審者が来たかと思うし、ビクッとします。
今、子供が小さく2人目の妊娠を機に仕事も辞めたので、
家にいて当然と思っているのか、鍵がかかっているとわかると、庭の方にまわってきます。
旦那には「せめて事前に連絡して欲しい」と義理の両親に伝えてもらったのですが、
義父は以前のままです。

同居はもともと旦那から言い出してしまった事で、
今では義父がものすごく張り切っています。

旦那には「同居したら絶対プライバシーが無くなるし、絶対嫌な思いするから断って・・・」とお願いしているのですが、
自分から言った事なのでなかなか言い出せずにいます。
ちなみに旦那も同居には次第に反対になっていて、マイホームが欲しいっていってます。

義理の両親とは車で30分程度のところに住んでおり、
顔も合わせる機会が多く、今のところ不満は上記の点だけです。
適度な関係を保ちたいのですが、同居を角なく断る方法、あったらぜひ教えてください！！

長々とすみません。