無理という対象がなんであるかが気になります。
とりあえず駄目であるにはなんらかの理由があるはずです。
対人関係なら
人に物を押し付けてくる、すぐに悪口を言う、体が不潔だ、言うことがころころ変わり一貫性が無い、独善的だ、いつも説明不足だなど。
それらがなくて「なんだかよくわからないけど嫌」というのは嫌っている本人の問題だと思うので、
「生理的に無理」というのは言い換えるなら「私が相手を差別している」ということになってしまうとおもいます。
「生理的に無理」をオブラートに包むということなら「相性が良くない為相手に迷惑を掛けてしまう」という表現はどうでしょう。
今ひとつかもしれませんが「生理的に無理」よりは良いと思います。
あなたの思ったこと、知っていることをここにコメントしてみましょう。