徳川家康の関東入国に際して伊奈忠治が関東郡代の名跡を継承し赤山７千石で陣屋を構えた。
父忠次が武蔵小室に構えた陣屋は岩槻城の支城を再利用したものであり、赤山陣屋も新しく構築した陣屋ではなく古城を修築した可能性がある。

堀は大部分が保全保護されている為自然感が無いものの、一部現存部分もあります。

敷地内とその周囲至る所に説明版があり、且つて一帯が赤山陣屋であった事が解ります。