Pháo đài 4 mặt này nằm ở vị trí cao nhất của thành phố, được xây dựng thời La Mã, sàn hình vuông, mỗi cạnh đều có tháp. Mỗi mặt theo một phong cách kiến trúc riêng: Mặt tiền pháo đài theo lối kiến trúc Phục Hưng; mặt thứ hai theo lối Plateresque; mặt thứ ba theo lối kiến trúc thời Trung cổ và mặt thứ tư theo lối Churigueresque. Khi người Công giáo trị vì Toledo, Alcazar trở thành hoàng cung. Khi vua Carlos I dời về Madrid, pháo đài này trở thành một trường đào tạo quân sự. Trong cuộc nội chiến Tây Ban Nha (1936-1939), pháo đài Alcazar bị thiêu hủy gần như hoàn toàn. Về sau, pháo đài được xây dựng lại để làm Bảo tàng Quân sự.