耳フェチの息子、困ってます

３歳過ぎた息子ですが、耳フェチ（特に私の耳）なのです。
１歳の頃から、寝る時は必ず（昼寝も夜も）私の耳を触らないと寝られませんでした。布団の中で向かい合って両手を私の耳に伸ばして、クリクリ、スリスリと触りながら寝るのです。寝る時以外でも、何かの拍子にふと触ったりしてました。

２歳代まで長いこと我慢していた私も 徐々に触られる不快感がつのって来て、毎晩「耳触られ恐怖症」みたいになってしまいました。
そこで「３歳になったらもう止めようね。」と言い聞かせ、本人も納得して、お誕生日の日から一応触らないで眠れるようになりました。

でも、寝ぼけてる時や 夜中にちょっと起きちゃった時など、今でもやっぱり耳を触ってきます。起きてる時も「ママのお耳触っちゃおうっと。えへへ。」みたな感じで触ったりもします。本当に好きなんだと思います。

「ママ お耳触られるの いやなんだ。」って言ってあるし本人も解ってはいます。夜中に触られたりすると、私も寝ぼけていたりして不快感から「止めてよっ。」と声を荒げ手を乱暴に払いのけてしまうこともあります。かわいそうだと思うのですが、私も嫌なのです。

どうしたらいいでしょうか・・・。
耳でなくても お気に入りのぬいぐるみだったり毛布だったり、子供ってそういうものってありますよね。それを無理やり取り上げて、精神的に不安定にならないのでしょうか。
かと言って、私が耳を提供するのはやっぱりとても不快で止めたいのです。
アドバイス、よろしくお願いします。