والتنصل مما نبذ به حتى صلح له بعض الصلاح وعاد إلى بغداد وأقام قليلا ثم أصعد إلى الموصل واتفق موت أبي الحسن ابن أبي الوزير كاتب معتمد الدولة أبي المنيع قرواش أمير بني عقيل فتقلد كتابته موضعه ثم شرع أبو القاسم يسعى في وزارة الملك مشرف الدولة البويهي ولم يزل يعمل السعي إلى أن قبض على الوزير مؤيد الملك أبي علي فكوتب الوزير أبو القاسم بالحضور من الموصل إلى الحضرة وقلد الوزارة من غير خلع ولا لقب ولا مفارقة الدراعة وأقام كذلك حتى جرى من الأحوال ما أوجب مفارقة مشرف الدولة بغداد فخرج معه منها وقصدا أبا سنان غريب بن محمد بن مقن ونزلا عليه وأقاما بأوانا وبينا هو على ذلك إذ عرض له إشقاق من مخدومه مشرف الدولة دعاه إلى مفارقته فانتقل بعد ذلك إلى أبي المنيع قرواش بالموصل وأقام عنده ثم تجدد من سواء رأي الإمام القادر فيه ما ألجأته الضرورة بسبب ما كوتب به قرواش وغريب في معناه إلى مفارقته والإبعاد عنه وقصد أبا نصر ابن مروان بميافارقين وأقام عنده على سبيل الضيافة إلى أن توفي وقيل إنه لما توجه إلى ديار بكر وزر لسلطانها أحمد بن مروان المقدم ذكره فأقام عنده إلى أن توفي في ثالث عشر شهر رمضان سنة ثماني عشرة وأربعمائة وقيل ثمان وعشرين والأول أصح وكانت وفاته بميافارقين وحمل إلى الكوفة بوصية منه وله في ذلك حديث يطول شرحه ودفن بها في تربة مجاورة لمشهد الإمام علي بن أبي طالب رضي الله عنه وأوصى أن يكتب على قبره (كنت في سفرة الغواية والجهل * مقيما فحان مني قدوم) (تبت من كل مأثم فعسى يمحى * بهذا الحديث ذاك القديم) (بعد خمس وأربعين لقد ماطلت * إلا أن الغريم كريم)