باغ سنگی سیرجان پر از تنه خشکیده درختان است که از این تنه‌های خشکیده، سنگ‌هایی در اندازه‌های مختلف، به جای میوه آویزان شده‌اند. آویزان کردن هر سنگ و احداث هر یک از درختان طی سال‌های طولانی انجام شده است و برای شخصی به نام درویش خان از معنای خاصی برخوردار بودند. درویش خان اسفندیار پور، شخصی ناشنوا و لال بود که در اطراف این منطقه، زمین‌هایی برای کشاورزی داشت. هرگاه در زندگی درویش خان اتفاقی روی می‌داد، یک سنگ و درخت جدید بنا می‌کرد؛ به‌عنوان مثال سنگی را که شبیه به سر تراشیده انسان است، به‌مناسبت سربازی رفتن پسرش بر درخت آویخت یا سنگ‌هایی که به‌مناسبت مرگ دوستان و عزیزانش آویزان شده‌اند و او به‌جای سنگ مزار، هر روز به آن‌ها سرمی‌زد.