قال الضياء: وسافر العز إلى بغداد مع عمه الإمام عماد الدين إبراهيم، وأقام ببغداد عشر) سنين، واشتغل بالفقه والنحو والخلاف، ورجع وكان يتكلم في مسائل الخلاف كلاما حسنا. ثم سافر بعد مدة إلى إصبهان في طلب الحديث، ولقوا شدة من الغلاء والجوع. ثم رجع إلى بغداد وأقام بها يقرأ شيئا من الفقه واللغة على الشيخ أبي البقاء. ثم عاد إلى دمشق، وكان يقرأ الحديث للناس كل ليلة جمعة في مسجد دار البطيخ بدمشق يعني مسجد السلاليين، وانتفع الناس بمجالسته. ثم أنه انتقل إلى الجامع، إلى موضع والده فكان يقرأ يوم الجمعة بعد الصلاة في حلقتنا وسبب حصول ذلك أنه لنا جاء حنبل من بغداد، أراد الملك المعظم سمع المسند عليه، فقرأ له بعض المحدثين، وكان المسند يقرأ عندنا وفي المدينة، وكان العز رحمه الله يقرأ ويحضر عندنا جماعة من أهل المدينة، منهم العلم الرقي إمام الملك، فمضى إليه، وقال: إن كنت تريد قراءة مليحة عاجلة فما يقرأ أحد مثل هذا الذي في الجبل. فقال: تجيء به. فجاء الإمام إلى العز، فقال له: ما لي في هذا رغبة وأنا رجل خامل الذكر، وما بيني وبين أحد عداوة وأخاف من المخالفين. فقال: هذا لا نخاف منه، ما يحضر إلا الملك والشيخ وأنت وأنا.
فاستشار المشايخ، فقال هل شيخنا موفق الدين: إن كنت تمضي لله فامض، وإن كنت تمضي لطمع الدنيا فلا تفعل. فاستخار الله ومضى. فلما سمع الملك قراءته أعجبته كثيرا، وخلع عليه، وأحبه، وسأله عن أشياء من الحديث، فأجابه، ورأى منه ما لم ير من غيره. وكان بعد ذلك مهما طلب منه لا يكاد يرده، فطلب منه الجلوس مكان أبيه، فأذن له، وطلب منه مكانا في القدس لأصحابنا يصلون فيه فأعطاه مهد عيسى. وكنا نسمع المسند، فقال بعض الحضور من المدينة: ما رأيت مثل هذه القراءة، مثل الماء، أو قال: مثل السيف.
ولما أراد الملك المحسن سماع تاريخ بغداد من الكندي، قال: إن كان العز ابن الحافظ يقرأه فنعم، فقرأه عليه.