3世帯同じ敷地に住むってどう思われますか？

こんにちは。
みなさんにお聞きしたいことがあり、書かせていただきました。

私の旦那は3人兄弟。
勘当されたお姉さんと、近くに世帯を持つ妹がいます。
旦那の両親は事業に失敗し、年金で細々と生活をしています。

私は、今年はじめに姉が他界し、実質的な一人っ子。
でも、実家には姉の残した未成年の子供が二人おります（旦那はいません。実家の母が面倒を見ています）
実家は父（ボケと半身不随で施設にいます）と、母の年金、子供らにも遺族年金や姉の保険金等で金銭的には困ってはおりませんが、大人の力が足りず、70になる母がひとりで苦労しています（私の自宅からはかなり遠く、日帰りで行き来するにも疲れる距離です）

旦那は、自分の親と私の親の両方を面倒見ると行って
3世帯同居の住宅建築案を提案してきました。

どう考えても、生活環境等で、トラブルの原因になるので無理だと思い、旦那にそう伝えたのですが
旦那は自分の希望をかなえてくれないと、ご飯も食べず、毎日ふさぎ込むようになりました。

親のことを真剣に考えてくれることは嬉しいのですが
今の私たち自身がぎりぎりの生活で貯金すらできていない状態なので、現実的には親の面倒まで見る約束なんてとてもできないのですが、それをはっきり言った私って人の気持ちの分からない冷酷な・・・自分勝手で我侭な人間なんでしょうか？（旦那にそういわれました）

ちなみに、この案は、義母も私の母も絶対嫌！って言っています。