最上氏の祖斯波兼頼が築城したと伝えられ、関ヶ原で徳川方につき57万石の大名となった最上義光が三重の堀を巡らせた山形城を築いた。

別名の霞城は関ヶ原の頃、富神山の麓から様子を伺っていた直江兼続が、10日経っても霞がかかって城が見えなかったことから霞城と呼ぶようになり、現在まで残っているのだという。

本丸・二の丸・三の丸と輪郭式に配置された縄張りで、現在は二の丸内が霞城公園となっている。山形城では現在、お城の歴史的価値を見直して、御殿や土塁、堀などを復元し、将来的には史跡公園として整備しようとしている。