桂城神社の社伝（記録）によると、鎌倉時代のころ、下之郷の氏神さまは『松宮梵天王』といわれていたようです。尼子にある甲良神社の氏神さまも同じ『松宮梵天王』なので、関係があったのでしょう。
桂城神社は、またの名を『六所大明神（六所大権現）』と言います。それは、当時、桂城神社が下之郷だけでなく、豊郷町の八丁・八目・石畑・四十九院・雨降野の合計六つの村全体の神社であったからです。
鎌倉時代の終わり頃は『悪党』とよばれる者たちが各地の荘園を荒らし回っていました。嘉暦２年（１３２７年）３月にはこの辺りでも大きな争乱があり、甲良三郷の神社などが全部焼けてしまいました。その時、桂城神社にあった御輿も焼失してしまいました。そこで、二階堂宝蓮院の行忠というえらいお坊さんが発起人になって、神社と御輿を再建したのでした。
それから１５０年が過ぎた室町時代中頃の文明１１年（１４７９年）。『文明』というのは日本中の武士が東軍と西軍に分かれて戦った応仁の乱のすぐあとです。その頃の下之郷城の城主であった多賀高忠は、京極家の重臣でしかも東軍の最高指揮官でもあったため、下之郷一帯も戦場となり、その戦禍によって、桂城神社の神輿はまたしても焼失してしまったのです。
神輿が二度目の焼失から１１年後の延徳二年（１４９０年）。この辺り一帯は大干ばつに見舞われ、昔からのしきたりどおり、氏神様に雨乞いをしましたがいっこうに雨は降りません。占ってみると、「氏神様松宮梵天王がお怒りになっているからだ」というお告げでした。「これは、前城主の高忠様が、戦禍で焼失した神輿を再建するようにと村人に命じておられたのに、そのままにしておいたからだ」と恐縮した村人たちはさっそく神輿を再建し奉納したということです。
これらの記録から分かるように、下之郷は嘉暦２年・文明１１年の２回も、戦災にあっているのです。また、更に７０年後、織田信長が近江を攻めた時にも焼けたという伝承があります。