القدر أيام المسترشد بالله وولي المقتفى وبنى مدرسة لأصحاب الشافعي بالقرب من داره ثم حج وعاد وقد لبس الفوط وزي الصوفية وترك الأعمال فقال بعض الشعراء فيه:
(يا عضد الإسلام يا من سمت * إلى العلا همته الفاخره) (كانت لك الدنيا فلم ترضها * ملكا فأخلدت إلى الآخرة) وبقي منقطعا في بيته عشرين سنة، ولم يزل محترما يغشاه الناس كافة.