文永2年(1265)伊勢平氏の流れをくむ関氏が築城。関氏の時代中に現在地に移された。

天正18年(1590)豊臣秀吉に従った岡本宗憲が入城し天守、本丸、二の丸、三の丸などを築城した。

しかし出雲松江藩主の堀尾忠晴が幕府の「（丹波）亀山城を修理せよ」の命令を勘違いし、伊勢の亀山城の修理を始めてしまい、石垣の修理の邪魔になる天守を撤去。撤去したところで勘違いが発覚したが、小藩にふさわしくないと再建はなかった。

多門櫓は三重県内で現位置に現存する唯一の城郭建造物。