古くは最上と伊達、関ヶ原の頃には最上と上杉攻防の地だった上山城。
2万5千石の小藩ながら大手門や三層の天守を持つ本丸、二ノ丸、三ノ丸、三層櫓、隅櫓、外堀を備えた城郭として整備され、奥州の名城、奥羽三代名城の一つに数えられるほどだった。

しかし幕府ににらまれ元禄5年（1692）土岐氏は越前国野岡に転封。
城は天守も堀も石垣も庭園も徹底的に破壊されたという。