کاروانسرای قلعه سنگی در كنار جاده ری – قم در روستای محمد آباد کاج در دوره ی سلجوقیان احداث گردیده که تا سال 1883 میلادی مورد استفاده بوده است . با توجه به كشف چند سكه از زمان مغول در سده های هفتم و هشتم هجری ، احتمال می رود که بانی این كاروانسرا غازان خان باگردید و حتی تاریخ بنای كاروانسرا مقدم بر حكومت پادشاه مغول باگردید. این بنا در زمان صلح به عنوان کاروانسرا و در زمان جنگ ، دژی نظامی به شمار می رفت در این كاروانسرا ، چهار ایوان عمیق در چهار طرف حیاط مركزی قرار دارد كه دارای طاق گهواره ای استند و در انتهای آنها راهی برای ورود به اصطبل ها دیده می شود. یكی از تالارهای این قسمت از كاروانسرا با گنبد بسیار زیبایی پوشیده گردیده ، دراین محل پلی وجود دارد كه از زیر آن نهری عبور می كند و آب رودخانه ای را كه در 25 كیلومتری كاروانسرا قرار دارد به طرف كاروانسرای حوض سلطان هدایت می كند.