کبوتر خانه امیر فرهنگی با قدمتی که به دوره قاجار بازمی‌گردد، شامل سه طبقه می‌شود. از طبقه بالای بنا به‌عنوان نگهبانی، از طبقه وسط برای نگهداری کبوتر و از طبقه پایین آن به‌عنوان خانه‌باغ استفاده می‌شد. طبق نوشته‌های روی دیوار، پیشینه بنا را سال ۱۲۸۰ برآورد می‌کنند. در طول جنگ جهانی دوم، این بنا به دلیل شباهت به برج دیدبانی، توسط هواپیماهای جنگی روسیه مورد هدف قرار گرفت که البته آسیب جدی به آن وارد نشد. این کبوترخانه در سال ۱۳۴۲، برای نخستین بار توسط حاج عباسعلی امیر فرهنگی مورد بازسازی قرار گرفت و در سال ۱۳۹۰، اداره میراث فرهنگی به درخواست وراث امیر فرهنگی اقدام به بازسازی اثر کرد. کبوتر خانه امیر فرهنگی در تاریخ ۷ خرداد ۱۳۸۷، با شماره‌ی ثبت ۲۲۸۴۳ به‌عنوان یکی از آثار ملی ایران به ثبت رسید.