قال المسبحي: وفي أيامه بني قصر البحر بالقاهرة الذي لم يكن مثله لا في شرق ولا غرب، وقصر الذهب، وجامع القرافة. كان أسمر، أصهب الشعر، أعين أشهل، بعيد ما بين المنكبين، حسن الخلق، قريبا من الناس، لا يؤثر سفك الدماء، وكان مغرى بالصيد، ويتصيد السباع، وكان أديبا فاضلا، فذكر له أبو منصور الثعالبي في يتيمة الدهر هذه الأبيات:
* نحن بنو المصطفى ذوو محن * تجرعها في الحياة كاظمنا.
* * عجيبة في الأنام محنتنا * أولنا مبتلى وخاتمنا.
* * يفرح هذا الورى بعيدهم * طرا وأعيادنا مآتمنا.
* وكان قد مات له ابن في العيد، فقال هذا. ثم قال أبو منصور: سمعت الشيخ أبا الطيب يحكي أن الأموي صاحب الأندلس كتب إليه نزار صاحب مصر كتابا يسبه فيه ويهجوه، فكتب إليه: أما بعد، فإنك قد عرفتنا فهجوتنا، ولو عرفناك لأجبناك قال: فاشتد ذلك على نزار، وأفحمه عن الجواب، يعني أنه دعي لا يعرف قبيلته، حتى كان يهجوه.
وقال أبو الفرج بن الجوزي: كان العزيز قد أولى عيسى بن نسطورس النصراني، واستناب منشأ اليهودي، فكتبت إليه امرأة: بالذي أعز اليهود بمنشأ، والنصارى بابن نسطورس، وأذل المسلمين بك، إلا نظرت في أمري، فقبض على اليهودي والنصراني، وأخذ من ابن نسطورس ثلاثمائة ألف دينار.
قال ابن خلكان، رحمه الله: وأكثر أهل العلم لا يصححون نسب المهدي عبيد الله جد خلفاء مصر، حتى أن العزيز في أول ولايته صعد المنبر يوم الجمعة، فوجد هناك ورقة فيها: