旦那が長男の場合、マイホームをどこに建てるか

こんにちわ。今年２歳になる娘がいます。来年は二人目をと考えており、将来的にはさらにもう一人、５人家族の予定です。
旦那も私も２０代で、旦那は長男です。(他に兄弟３人います。)
独身の時から二人とも市内で仕事をしていたため、結婚してそのまま市内にアパートを借り、３人で生活しています。
両実家とも、車で１時間近くのところに住んでいます。
子供もだんだん大きくなってきたので、アパートだと不便ですし、娘が小学校に入るまでには住むところを決めて、家を建てようと話しています。
旦那は長男なので、将来的には両親の面倒を見ないといけません。私はこういう考え方すごく嫌なのですが・・・。
旦那の両親は、同居はしなくていいと言ってくれています。なので、旦那の家にすぐ行ける距離に建てればいいのかと考えていますが、ものすごく田舎ですし、もちろん仕事もありません。実際、義父も１年半程前リストラにあい、今だきちんとした仕事につけていません。
旦那様が長男で、家を建てた方、やはり義実家近くに建てましたか？？義両親とも話してみようと思っているのですが。。教えてください。