実際に訪れてみると、拝殿は小さく、村の社という感じなのだがその由来がすごい。
端折って記すと
平安末期（1098年）、阿賀野川の洪水時に、老人が突然にあらわれ、呪文とともに水の流れを変えて、村を救ったと言う。
村民が礼拝して名を問うと「安倍仲麿」と言って去ったという。
以来、この地域の鎮守神となった。
なお安倍仲麿は博学多才で遣唐使として中国に留学したが、帰れなくなり中国でその生涯を終えたと言われている。
そのことから、学問の神様として敬われている。
などとあるのだが、死後300年後に突然、会津という地に安倍仲麿（通常は阿倍仲麻呂であるが、上看板標記にしたがう）が現れた理由が分からない。
可能性としては陰陽師の安倍晴明と時代が近いことから、安倍仲麻呂が祖先とも呼ばれているし、その手の術系の由来なのかなとも思うが、どうなのだろう。
また後三年の役の直後であることから、奥州安倍氏とも関係があるのかもしれない。
いずれにしても、他に阿倍仲麻呂神社と呼ばれるところが、調べても見つからない（奈良に小さい社が一社あるという話も）ので、正式な由来はとんと分からない。
この時代の東北地方には、同じような事例がいくつかあるので（隣の地区には小野小町の墓と伝えられているところもある）中央とはかけ離れたところで、いくつもの伝説が生まれたのかもしれない