町内会。みなさん、入ってますか？

最近、今のところへ越して来て町内会に入りました。
以前住んでいた賃貸では、町内会のお誘いも無く
ご近所付き合いも全くナシ。
この度も、町内会に入るのを断ろうと思っていたんです。しかし…
「町内会に入らない？信じられない！」「そんな非常識な事をするヤツはろくなことにならない！」等、旦那にさんざん言われて大げんか。
私からすると「なんで断ったらいけないの？任意でしょ？」「町内会に入らなくたって、町内のお手伝いをすれば問題ないんじゃないの？」なんて思うのです。
確かに、自分が率先して町内の為に何かをする事はないですが。
母にも聞いてみたのですが、母の経験談で「入ってなかった時、ゴミを捨てようとしたら『町内会に入ってない人は捨てるな！』と言われた事があるよ。役所に確認したら『そんなことないです』って言われたけどね。波風立てない方が無難」とアドバイスされ、入会しました。
会費を規定で半年分前払いする事になっていたので、そのつもりでいたら「この辺の人で話して、一年分集める事になったから、１年分払ってください」って。
これだから嫌なんだ〜（T＿T）
・・・と愚痴っちゃいましたが、町内会に入る事。常識ですか？