وزر سبع سنين وسبعة أشهر، ثم عزل بأمر السلطان ملكشاه للخليفة لموجدة، فأنشد أبو شجاع:
تولاها وليس له عدو * وفارقها وليس له صديق (1) ثم خرج إلى الجمعة، فضجت العامة يدعون له، ويصافحونه، فألزم لذلك بأن لا يخرج من داره، فاتخذ في دهليزه مسجدا، ثم حج لعامه، ورجع، فمنع من دخول بغداد، وبعث إلى روذراور، فبقي فيها سنتين، ثم حج بعد موت النظام والسلطان والخليفة، ونزل المدينة وتزهد، فمات خادم، فأعطى الخدام ذهبا، حتى جعل موضع الخادم، فكان يكنس ويوقد (2)، ولبس الخام، وحفظ القرآن هناك، وطلب منه أبو علي العجلي أن يقرأ عليه ديوانه، فامتنع، وأنشده بعضه (3).
قال أبو الحسن الهمذاني: دفن بالبقيع في نصف جمادى الآخرة سنة ثمان وثمانين وأربع مئة عن إحدى وخمسين سنة، رحمه الله تعالى.
وخلف من الولد الصاحب نظام الدين، فتوفي بأصبهان سنة ثلاث عشرة وخمس مئة، وهو والد الوزير المعظم ظهير الدين محمد بن أبي منصور حسين بن الوزير أبي شجاع.