قدیمی ترین و اولین ساختمان خیابان کوشک مصری، عمارت قزاقخانه است که درست روبه روی «سر در باغ ملی» قرار گرفته است و در سال ۱۲۸۰ هجری قمری در زمان مظفرالدین شاه دستور ساخت آن داده و در زمان ناصرالدین شاه ساخته شد. این عمارت که امروزه از دیدنی های تهران است، به گونه‌ای قدیمی‌ترین ساختمان اداری تهران در تاریخ تحولات شهر به حساب می‌رود. این عمارت از چندین ساختمانی که در فاصله یکسان و مناسبی نسبت به یکدیگر قرار گرفته‌اند، ساخته شده است. متاسفانه این اثر تاریخی ارزشمند در حال حاضر، حال و روز چندان خوشی ندارد و بیشتر شبیه متروکه‌ای شده و نیاز به مرمت و حفاظت فوری دارد.