فلم يزل قاضيا حتى مات سنة ست وثمانين. وزعم بعض المشيخة أن أوسا بن أخي يونس بن عطية ولي القضاء بعد عمه يونس بن عطية.
ثم ولي عبد الرحمن بن معاوية ابن خديج الكندي وجمع له القضاء والشرطة فلم يزل على ذلك حتى توفي عبد العزيز بن مروان.
الطاعون بالفسطاط وقال سعيد بن عيسى بن بليد وغيره كان الطاعون قد وقع بالفسطاط فنزل بحلوان داخلا في الصحراء في موضع منها يقال له أبو قرقون وهوراس التي احتفرها عبد العزيز بن مروان وساقها إلى نخلة التي غرسها بحلوان فكان ابن خديج يرسل إلى عبد العزيز في كل يوم بخبر ما يحدث في البلد من موت أو غيره؛ فأرسل إليه ذات يوم رسولا فأتاه فقال عبد العزيز ما اسمك؟ فقال أبو طالب فثقل ذلك على عبد العزيز وغاظه موت عبد العزيز بن مروان فقال عبد العزيز: أسألك عن اسمك فتقول أبو طالب ما اسمك؟ فقال: مدرك فتطير عبد العزيز بذلك وخرج فمرض في مخرجه ذلك ومات هناك فحمل في البحر يراد به الفسطاط فاشتدت به الريح فلم يبلغ الفسطاط حتى تغير فأنزل في بعض خصوص ساحل مريس فغسل فيه وأخرجت هناك جنازته وأخرج معه بالمجامر فيها العود لما كان تغير من ريحه.
وصية عبد العزيز مروان وأوصى عبد العزيز أن يمر بجنازته إذا مات على منزل خباب وكان له صديقا وكان خباب قد توفي قبل عبد العزيز فمر بجنازة عبد العزيز على بابه وقد خرج عيال خباب فلبسوا السواد ووقفوا على الباب صائحات ثم أتبعنه إلى المقبرة. وخباب صاحب قصر خباب الذي بفسطاط مصر وقد كان نصيب الشاعر قدم على عبد العزيز في مرضه فاستأذن عليه