وقد اعتنى به أبوه في صغره، وسمعه واستجاز له المشايخ سنة أربع وأربعين وثلاثمائة وما بعدها فتفرد بالإجازة والسماع من خلق، وطاف بعد ذلك البلاد والأقطار، فتهيأ له من لقي الكبار - كما يقول الذهبي - ما لم يقع لحافظ، وعمر طويلا، فعلا اسناده، وتمكن من فنون الحديث، وتبحر فيها، وجمع إليها غيرها من فنون العلم، مع الصدق والإمامة، والاجتهاد، والصلاح والعبادة، حتى غدا إمام الدنيا في الحديث أربعة عشر عاما، قال حمزة بن العباس العلوي: كان أصحاب الحديث يقولون: بقي الحافظ أبو نعيم أربع عشرة سنة بلا نظير، لا يوجد شرقا ولا غربا أعلى اسنادا منه ولا أحفظ.
ولهذا ازدحم الحافظ على بابه من جميع الأقطار والأمطار، وشدوا إليه الرحلة فنفع الله تعالى به العباد قال الحافظ ابن مردويه: كان أبو نعيم في وقته مرحولا إليه، لم يكن في أفق من الآفاق أحد أحفظ منه، ولا أسند منه، كان حفاظ الدنيا قد اجتمعوا عنده، وكل يوم نوبة واحد منهم، يقرأ ما يريده إلى قريب الظهر، فإذا قام إلى داره، ربما كان يقرأ عليه في الطريق جزء، وكان لا يضجر، لم يكن له غذاء الا التسميع والتصنيف.
وقال أبو محمد السمرقندي: سمعت أبا بكر الخطيب يقول: لم أر أحدا أطلق عليه اسم الحفظ غير رجلين، أبو نعيم الأصبهاني، وأبو حازم العبدوي الأعرج.
وقد أجمعوا على إمامة أبي نعيم وحفظه وبصره بالاسناد