قلعه سرماج در روستایی با همین نام و در شهرستان هرسین واقع شده است. امروزه روی این قلعه که روزگاری مقر موسس سلسله‌ی حسنویه محسوب می‌شد، خانه‌های روستاییان قرار دارد. به نظر می‌رسد که در پیرامون قلعه، برج‌هایی را احداث کرده بودند که متاسفانه تنها بخش بزرگی از یکی از برج‌ها به‌جای مانده است. همچنین دیواری به طول ۳۷ متر از دیگر بخش‌های بازمانده از قلعه به‌شمار می‌رود که سازندگان آن را در نمای خارجی با بلوک‌های سنگی بزرگ و در نمای داخلی با لاشه‌های سنگ و ملات گچ ساخته‌اند. از دیگر نکات قابل توجه در مورد قلعه، حضور خندقی است که آن را دورتادور این اثر تاریخی، برای ذخیره‌سازی آب هنگام یورش دشمنان و نیز با کاربری دفاعی حفر کرده‌اند. قلعه سرماج در تاریخ ۱۰ دی ۱۳۸۱ با شماره‌ی ثبت ۶۹۸۹ به‌عنوان یکی از آثار ملی ایران به ثبت رسید.