قلعه رستم خوسف در شهرستان خوسف، روستای گنج قرار دارد. قلعه برفراز تپه‌ای رفیع که بر جلگه‌ی خوسف و دشت ماژان مشرف است، قرار دارد. داخل قلعه، شش تالار وجود دارد که با طاق‌های جناغی پوشش یافته‌اند. در مرکز قلعه چاهی وجود دارد که عمق آن حدود هفت متر است و در جبهه‌ی جنوبی قلعه، آب‌انباری قرار دارد که از سنگ و ملات ساروج ساخته شده است. در جبهه‌ی شمال شرقی قلعه پنج برج دیده‌بانی وجود داشته که قابل تشخیص است. در محوطه این قلعه قطعات سفال‌های لعابداری با رنگ‌های فیروزه‌ای و ساده وجود دارند که به ادوار پیش و پس از اسلام مربوط می‌شوند.
این اثر در تاریخ ۲۳ شهریور ۱۳۸۲ با شماره ثبت ۱۰۱۸۵ به عنوان یکی از آثار ملی ایران به ثبت رسیده است.