回答のスタンプを許可するかどうか、質問者が決められると良いと思いませんか？

ホントだ。

スタンプに今まで気づかなかった。確かにスタンプつきの回答あるね。使った事なかった。

あなたの気持ちはわかるけど、質問者vs回答者って構図にしたくないな。お互い様の関係がいいな。
自分は、自分か役に立てるなら、間違っても逆のヒントになればと回答コメントを書いてます。
質問者のスタンプに「えっ！」と思うこともあるけど。直接知らない者同士の文字のキャッチボールだから成立してる。相手の顔が見えないから相談しやすいとこなのかなと思ってます。
一方で、顔色や口調が分からないから真剣さが伝わらない時もあって当然。だから質問者さんにとっては、気分を害するケースもあるのでしょう。

私にとっては、質問にも回答にもスタンプは不要。でも使いたい人に制限をかけるつもりもない。

あなたが間違ってるとは思ってません。嫌な事はない方がいい。運営してるところに伝えて見たら？

因みに、私はこの質問にもスタンプをつけません。初めて見たけどぴったりイメージのスタンプないから。あなたがスタンプを押して欲しいか嫌かは、俺にはわかんないもん。

もし、スタンプを押してほしくないのであれば、質問時に今回はスタンプはやめてくださいって書いておけばいいのでは？

あくまでもそれは回答者の自由であるかと。
どんなに真剣な質問でも、参考に、やだいじょうぶといったことは言葉だけでなく、絵柄があったほうがいいのではとも思いますが。
正直、質問の文面からスタンプ歓迎かそうでないかはわかりません。（今回はやめておきます。）