２世帯住宅。子供をとられそうで・・・。

2月末に男児を出産しました。
我が家は2世帯なのですが、義母がしょっちゅう子供を見にきます。本当に頻繁で１時間と空かないときもあります。
おかげでこっちは昼寝もうかうかできませんし、
掃除や片付けもいつも以上にしっかりやらないといけません。
うっかり髪の毛でも落ちていようものなら、
『ここは汚いから、おばあちゃんの部屋に行きましょうねぇ』と子供を連れて行ってしまいます。
だから掃除にも手を抜けないし・・・。
最悪、夜に子供の泣き声が義母の部屋まで聞こえてくると『かわいそうだからおばあちゃんと一緒に寝ようね』と連れて行ってしまいます。子供が寝ていても抱っこしてしまいます。子供は泣くのが仕事なのに泣かせるとかわいそうって言われて、すぐに抱っこしてしまうので、こっちも泣かせないようにピリピリしてしまいます。
旦那に相談したらすごく怒ってくれて、義母に言ってくれたのですが、全く効き目がありません。
逆に息子がいないときにしかこれないと思ったらしく、余計に抱っこしにくるようになりました。
皆さんこんな義母対策、どうしてますか？
子供を取られた様な気持ちで仕方ありません。
義母のために子供を産んだワケじゃないし・・・。
こんな義母対策、皆さんはどうしてますか。