一人っ子ってそんなに悪いの？

２歳の息子がいます。
最近　なにかと次の子の予定をきかれます。
それは、仕方ないとして・・・

不快な思いになるのが
一人っ子のイメージというか偏見です。
『かわいそう』『わがままになる』など。
とくに身内(義母)がなにげにそういう発言をしてくれます。
だから義母やその親戚と会いたくない気持ちになってきました。

私は、結婚まえから子供は一人でもいいと思ってましたし
現状から考えると子供を増やすのはしんどい状況です。

私がうまく聞き流せばいい話なんですが
毎回　会うたびにそういうニュアンスのことを言われると聞き流せなくなりました。

一人っ子でも大丈夫だよ・・・みたいなプラス思考になれるコメントをお待ちしております。