قصر حرمسرا با قدمتی که به دوره صفوی بازمی‌گردد، در یک کیلومتری جنوب شرقی کارونسرای قصر بهرام قرار دارد. این بنا هنگام مسافرت خاندان سلطنتی حرمسرا و در باقی موارد محل سکونت شکارچیان سلطنتی بود. چشمه‌های موجود در دامنه سیاه کوه آب آشامیدنی قصر را با استفاده از یک کانال تامین می‌کردند. بخش شمالی بنا به‌طور کلی از بین رفته ؛ اما از بخش جنوبی یک تالار، دو ایوان و دو اتاق به‌جای مانده است.