平家との戦いに勝った源氏の源頼朝が鎌倉に幕府を開いて鎌倉時代が始まります。

　源頼朝は、全国に守護・地頭を置き特に重要な近江の国の守護に佐々木氏を、また幕府の要職には二階堂氏を任命します。二階堂氏は鎌倉二階堂に住み、この下之郷にも領地を与えられました。また、佐々木道誉は、１３４５年４月に甲良荘の地頭職に任ぜられました。この両者は婚姻関係を通じて力を合わせていきます。

　鎌倉幕府の重役であった二階堂出羽入道道薀は、１３３３年、鎌倉幕府が滅亡するとき、下之郷屋敷に蟄居させられ、同年京都六条河原で処刑されました。これをきっかけに下之郷屋敷や二階堂宝蓮院が衰微していきました。

 　桂城神社社伝によると、下之郷に城を築いたのは京極高詮の次男高員で、応永四年（１３９７年）のことでした。三代目が有名な豊後守高忠です。豊後守高忠は、多賀氏の姫を娶って多賀氏を名乗ります。しかし、応仁の乱で同族の多賀出雲守との戦いで戦死し、それ以後多賀氏は次第に衰微していきます。その多賀氏に代わって湖東地方の実権を握っていったのが浅井氏です。

　坂田郡志によると、「多賀氏は、京極家の中で特別の地位を占めている家であったが、浅井亮政が名実ともに京極家の執権になり、それに従属するのががまんできず、六角定頼と結んで戦おうとした。怒った亮政は、天文４年１月１０日、下之郷の多賀貞隆を攻めた。まさに敗れんとするとき、たまたま隣の敏満寺にいた今井秀隆が救援にかけつけ、危機一髪下之郷の城は兵火から守られた。」とあります。

　下之郷城城主の系譜は、社伝によると、京極豊後守高員（高詮の子）、二代目京極加賀守高条、三代多賀豊後守高忠、四代多賀豊後守高昌、五代左京亮後豊後守頼高、六代多賀新左衛門尉後左京亮綱高、七代多賀土佐守実高と続きます。

　社伝によれば、下之郷城は永禄年中、織田信長軍に攻められて落城し、７代城主土佐守実高はじめ、川並、上野、二階堂三家老と多くの家来は討ち死にしたと書かれています。

 　下之郷城の存在は、今も「城」「堀之内」「堀端」等の小字名に残っています。

   このように、中世の下之郷は、武家の盛衰と深く関わっていたのです。