قال حامد: إن الله أعطاني وجها طلقا وخلقا حسنا وما كنت بالذي أعبس وجهي وأقبح خلقي لأجل الوزارة؛ فعابوه عند المقتدر ونسبوه إلى الجهل بأمور الوزارة فأمر المقتدر بإطلاق علي بن عيسى من محبسه وجعله يتولى الدواوين شبه النائب عن حامد فكان يراجعه في الأمور ويصدر عن رأيه ثم أنه استبد بالأمر دون حامد ولم يبق إلى حامد غير اسم الوزارة ومعناها لعلي حتى قيل فيهما:
(هذا وزير بلا سواد * وذا سواد بلا وزير) ثم إن حامدا أحضر ابن الفرات ليقابله على أعماله ووكل بمناظراته علي بن أحمد الماذرائي ليصحح عليه الأموال فلم يقدر على إثبات الحجة عليه، فانتدب له حامد وسبه ونال منه وقام إليه فلكمه.
وكان حامد سفيها فقال له ابن الفرات أنت على بساط ابن السلطان وفي دار المملكة وليس هذا الموضع مما تعرفه من بيدر تقسمه أو غلة تستفضل في كيلها ولا هو مثل أكار تشتمه، ثم قال لشفيع اللؤلؤي قل لأمير المؤمنين عني إن حامدا إنما حمله على الدخول في الوزارة وليس من أهلها أنني أوجبت عليه أكثر من ألفي ألف دينار من فضل ضمانه وألححت في مطالبته بها فظن أنه تندفع عنه بدخوله في الوزارة وأنه يضيف إليه غيرها فاستشاط حامد وبلغ في شتمه، فأنفذ المقتدر فأقام ابن الفرات من مجلسه ورده إلى محبسه، وقال علي بن عيسى ونصر الحاجب لحامد قد جنيت