محله چهار درخت قدیمی‌ترین و معتبرترین محله شهر بیرجند است، چراکه این محله به‌عنوان نقطه مرکزی شهر، دارای مساجد، حمام، آب‌انبار و میدانچه بوده است. وجه‌تسمیه نام این محله؛ البته از نظر ریش‌سفیدان محل، وجود چهار درخت نارونی است که در چهار طرف میدان محل قرار داشته و به همین خاطر به میدان و محله چهار درخت شهرت یافت.
محله چهار درخت بیرجند در سال ۱۳۷۱ از سوی سازمان میراث فرهنگی و گردشگری با شماره ۲۳۶۵ در فهرست آثار ملی ایران به ثبت رسید. همچنین مسجد جامع و حمام و مدرسه تاریخی و قدیمی این محله نیز در فهرست آثار ملی ایران به ثبت رسیده است.