泊まりに来る義父

出産のため、４月から私が実家のほうへ２歳の娘と里帰りします。
しばらく孫と会えないだろうから、ということで車で２時間弱の義両親宅へ顔見せに行くことにしました。
仕事先から旦那が連絡した直後と思われるタイミングで義父から家に電話が。
「明日来てくれるんだって？用事があったけどキャンセルして待っとくことにした。それと今週末そっちに泊まろうと思って。」
仕事が早く終わるからと。私たちが顔見せに行く話で気を良くしたのか、さらに孫の顔を見に来たいようです。娘の物を何か買ってやるから、街中まで出て来いと。そして私たちと一緒にウチに帰ってきて泊まると。
ありがたい話、なんてことない話のようなんですが、私は嫌で仕方ないんです。
一年前まで義両親とは同居していました。結婚当初から義父を生理的にも受け付けがたく、同居中の嫌な経験もあり、今は義両親ともになるべく会いたくないです。

なのに昼間は義父・私・娘だけでお買い物！？夜は旦那の仕事が遅いので（だいたい午前様です）同じ顔ぶれで夕食！？就寝！？あ〜嫌だ〜！！すぐに娘に「ジジと一緒に寝よう」と言い出すので、そのたびに鳥肌が立つほど嫌なのに・・・。
とっさに「昼は友達と会うから出かけます」と答えました。すると「夜はいるんだろ？じゃあ夜行くから」と。

小さな子供と妊娠９ヶ月近い嫁だけがいる家に、舅が１人泊まりに来るって皆さんには抵抗無いことなんでしょうか？
私達が今住んでる家は義父名義なので（これもホントは感謝すべきことなんですけど（涙））、義父としては元我が家に気軽に泊まる気分なんだと思いますが、この調子だと二人目出産後、授乳も頻繁、二人の子供の世話でバタバタしててもお構い無しに泊まりに来られそうな気さえしてしまいます。
私の心が狭すぎるんでしょうか・・。