祇園城は鎌倉幕府の有力御家人小山氏の居城で小山城とも呼ばれる。11代義政の時、関東管領足利氏満に叛して滅亡。その後、室町幕府の配慮で同族の結城氏から次男泰朝が祇園城に入り、小山氏を継いだ。

祇園城は思川に沿って南北に広がる台地に造られたお城で特に西側は川幅のある思川と川の浸食で切り立った台地の崖を利用した天然の要害。今は大部分が住宅街になっているが、江戸初期の廃城直前には東西400ﾒｰﾄﾙ南北700ﾒｰﾄﾙに及ぶ大城郭だった。