保育園に勝手にお迎え？

２ヶ月の息子がいます。義母にとってははじめての内孫、長男の息子なのでかわいくてしょうがないようです。
別居ですが車で５分ぐらいのところに住んでいて、月に２、３回うちに来ます。滞在時間は３０分程度で、この頻度が私には限界なのですが今日訪問があり、３月からの仕事復帰について話していたときのこと。会社には社内に保育園があり、私の仕事が終わる夜６時まで息子はそこで見てもらうことになります。「仕事って何時までなの？」と聞かれて「６時までです」と答えると、「私が仕事終わる３時に迎えに行って６時まで見ていたいけど、そういうわけにはいかないわよね〜」と冗談めかせて言われました。
「それはちょっと・・・」と言ったのですが、なんだか本当に来そうで怖いです。
職場の保育園で保育士さんもみんな同僚なので、万が一来ても連れて帰らせないようにはしますが、なんというか、その発想がうざい！！！
今月、義妹が二人目の赤ちゃんを出産予定で里帰りらしいので、赤ちゃんが生まれたらしばらくは大丈夫だとは思うのですが、これからあるいろんな行事（お食い初め、家を新築中なので新築祝い、初節句などなど）が憂鬱でなりません。