留守中の義実家への訪問

こちらに書くのが適切なのかは分かりませんが、ここだと多くの方にご意見を伺えるかなと思い書き込みました。（管理人様不適切なら削除お願いします。）

昨日、旦那が「明日は休みだから実家（旦那の）に行こうか。」と聞いてきました。正直、快く行こうとは思いませんが、休日だししょうがないかなと思い、承諾しました。
直ぐに旦那が自分の実家に電話をしてみると、留守にしているようで連絡が取れませんでした。今日（２９日）の朝にも電話してみましたが不在のようでした。

今回はあきらめるのかなと思っていたら、「実家に探し物があるから行きたいんだ。」と言い、「親は留守みたいだけど行く？」と私に聞いてきました。私は「探し物があるんだったら、自分一人で行ってきたら？もし、ご両親がいらっしゃったとしても、突然お邪魔したら、夕ご飯とか気を使わせてしまうし・・・」と、私は行かないという意思を伝えました。
すると、旦那が午後になって「それじゃ○○（息子）を連れて実家に行ってくるわ！」と不服そうな顔で言い残し義実家に行きました。息子を連れて一人で探し物が出来るのか？とも思いましたが、連れて行くことにこだわっているようでした。私についていって欲しかったのは、息子の子守をして欲しいという考えも有ったからなのかもしれません。

でも、私からしてみると、留守中に嫁に家の中をいじられて姑は快く思うのかということです。同居をしていたりして、よく家の中で作業をしているのなら別ですが。私は勝手に姑に自宅に入られて家の中をいじられたら面白くありません。
もし、義両親が帰宅していたとしても、お出かけの後で疲れているのに突然押しかけて気をつかわせるのもどうかと思います。
皆さんはどうでしょうか？
私の考え方はおかしいでしょうか？
ご意見を伺えたら嬉しいです。