دژ برازجان که با نام کاروانسرای مشیرالملک نیز شناخته می‌شود، با بنایی مستحکم مقابل میدان اصلی شهر برازجان قراردارد. پیشینه‌ی بنا به دوره‌ی قاجاریه بازمی‌گردد و در سال ۱۲۵۰ خورشیدی به دست حاج میرزا ابوالحسن خان مشیرالملک شیرازی، از نیکوکاران وقت شیراز و با هزینه‌ای معادل چهل هزار تومان ساخته شد. دژ برازجان چهار برج دارد و از ۶۸ اتاق تشکیل می‌شود. معماری این بنا به عهده حاج محمد شیرازی بوده است.