ثم إنه توجه إلى اليمن، ووزر لسيف الإسلام، وأرسله إلى الديوان العزيز، فعظم ببغداد وبجل.
ولما صرت إلى مصر وجدت ابن بنان في ضنك من العيش، وعليه دين ثقيل، وأدى أمره إلى أن حبسه الحاكم بالجامع الأزهر. وكان يتنقص بالقاضي الفاضل، ويراه بالعين الأولى، والفاضل يقصر في حقها، فيقصر الناس مراعاة للفاضل.
وكان بعض من له عليه دين أعجميا جاهلا، فصعد إليه إلى سطح الجامع، وسفه عليه، وقبض على لحيته، وضربه، ففر وألقى بنفسه من سطح الجامع فتهشم، فحمل إلى داره، وبقي أياما ومات. فسير القاضي الفاضل بجهازه خمسة عشر دينارا مع ولده. ثم إن القاضي مات فجأة بعد ثلاثة أيام رحمه الله.