قال: ما كتبت سوداء في بيضاء إلى يومي هذا، ولا حدثني رجل بحديث قط إلا حفظته. قال علي: فحدثت بهذا إسحاق بن راهويه، فقال: تعجب من هذا؟ قلت: نعم. قال: ما كنت أسمع شيئا إلا حفظته، وكأني أنظر إلى سبعين ألف حديث - أو قال: أكثر - في كتبي.
قال أبو داود الخفاف: سمعت إسحاق بن راهويه، يقول: لكأني أنظر إلى مئة ألف حديث في كتبي، وثلاثين ألفا أسردها. قال: وأملى علينا إسحاق أحد عشر ألف حديث من حفظه، ثم قرأها علينا، فما زاد حرفا، ولا نقص حرفا. هذه الحكاية رواها الحافظ ابن عدي، عن يحيى بن زكريا بن حيويه، سمع أبا داود فذكرها. فهذا والله الحفظ.
وعن إسحاق بن راهويه، قال: ما سمعت شيئا إلا وحفظته، ولا حفظت شيئا قط فنسيته.
أبو يزيد محمد بن يحيى: سمعت إسحاق، يقول: أحفظ سبعين ألف حديث عن ظهر قلبي.
وقال أحمد بن سلمة: سمعت أبا حاتم الرازي، يقول: ذكرت لأبي زرعة حفظ إسحاق بن راهويه، فقال أبو زرعة: ما رئي أحفظ من إسحاق، ثم قال أبو حاتم: والعجب من إتقانه، وسلامته من الغلط مع ما رزق من الحفظ. فقلت لأبي حاتم: إنه أملى التفسير عن ظهر قلبه. قال: وهذا أعجب، فإن ضبط الأحاديث المسندة أسهل وأهون من ضبط أسانيد التفسير وألفاظها.
وقال إبراهيم بن أبي طالب الحافظ: فاتني عن إسحاق مجلس من مسنده، وكان يمله حفظا، فترددت إليه مرارا ليعيده، فتعذر فقصدته يوما