قلعه صمصام در مدخل ورودی شهر و در ضلع جنوبی خیابان، کنار رودخانه کرج ساخته گردیده و جاده کرج - چالوس ، در ضلع شرقی آن قرار داره. مساحت قلعه، ۱۱۲۲ مترمربع که تشکیل گردیده از یک حیاط مرکزی و تعدادی اتاق های مخروبه که به طور الحاقی و به مرور در آن ایجاد گردیده و چهار برج که فقط دو برج آن در ضلع شمالی موجود استند. مصالح به کار رفته در برج صمصام سنگ ، آجر ، ملاط و ساروج است. به لحاظ طرح معماری از طرح دژهای جلگه ای تبعیت می کند که معمولا چهارگوش استند، با برج های مدور در گوشه ها که عمدتا جنبه نظامی و تدافعی داشته و از نظر موقعیت و فضاهای کاربردی تفاوت بسیاری با قلعه های استحکاماتی دارند. این قلعه در حال بازسازیه.