ساختمان داخل باغ به «خان نشین» مشهور است و متعلقات معماری مربوط به این باغ شامل یخچال، آب انبار، ساباط، قهوه خانه و اصطبل در میان آن بنا گردیده است. در گذشته آب ۱۲ رشته قنات نیز از این باغ می گذشته است. بنای باغ خان مربوط به قرن سیزدهم هـ در حدود سالهای ۱۲۷۰ تا ۱۲۸۰ است و بانی آن محمدخان والی است. این فرد طی دو دوره و جمعا یازده سال در یزد حکومت کرده است.