توفي ليلة الحادي والعشرين من جمادى الآخرة، ودفن من الغد، وأحضر إلى دار المقتدي بالله أمير المؤمنين، فصلى عليه، ودفن بباب أبرز. وجلس أصحابه للعزاء بالمدرسة النظامية،.
وكان الذي صلى عليه صاحبه أبو عبد الله الطبري. ولما انقضى العزاء رتب مؤيد الدولة ابن نظام الملك أبا سعد المتولي مدرسا، فلما وصل الخبر إلى نظام الملك، كتب بإنكار ذلك، وقال: كان من الواجب أن تغلق المدرسة سنة من أجل الشيخ. وعاب على من تولى مكانه، وأمر أن يدرس الشيخ أبو نصر عبد السيد بن الصباغ مكانه.