أقرانه وسعيد بن عمرو الأذرعي وصالح بن محمد جزرة وعبد الله بن أحمد وعبد الرحمن ابن أبي حاتم وابن أخيه أبو القاسم بن محمد بن عبد الكريم وأبو عوانة الاسفرايني وموسى ابن العباس الجويني وعمر بن عبد العزيز مقلاص وأبو بكر بن أبي داود وعبد الله بن محمد ابن وهب الدينوري وأبو يعلى الموصلي والقاسم بن زكرياء المطرز وعلي بن الحسين بن الجنيد وأبو بكر بن زياد النيسابوري ومحمد بن الحسين بن الحسن بن القطان وآخرون.
قال النسائي ثقة وقال أبو حاتم إمام وقال الخطيب كان إماما ربانيا حافظا مكثرا صادقا. قال عبد الله بن أحمد لما قدم أبو زرعة نزل عند أبي وكان كثير المذاكرة له فسمعت أبي يقول يوما ما صليت غير الفرض استأثرت بمذاكرة أبي زرعة وقال عبد الله بن أحمد .. (1).. قلت من هم قال محمد بن إسماعيل وعبيد الله بن عبد الكريم وعبد الله بن عبد الرحمن والحسن بن شجاع وقال عبد الله بن أحمد سمعت أبي يقول ما جاوز الجسر أفقه من إسحاق ولا أحفظ من أبي زرعة وقال الحسن بن أحمد بن الليث سمعت أحمد يدعو الله لابي زرعة وقال فضلك الرازي عن أبي مصعب ما رأيت مثله بعينه وقال فضلك أيضا عن الربيع ان أبا زرعة آية وقال عبد الواحد بن غياث ما رأى أبو زرعة مثل نفسه قال ابن وارة سمعت إسحاق بن راهويه يقول كل حديث لا يعرفه أبو زرعة ليس له أصل.
وقال أبو حاتم رأيت في كتاب إسحاق بخطه إلى أبي زرعة اني أزداد بك كل يوم سرورا وقال البرذعي سمعت محمد بن يحيى لا يزال المسلمون بخير ما أبقى الله لهم مثل أبي زرعة وقال صالح بن محمد عن أبي زرعة أنا أحفظ عشرة آلاف حديث في القراءات وقال أيضا سمعت أبا زرعة يقول كتبت عن إبراهيم بن موسى الرازي مائة الف حديث وعن أبي بكر بن أبي شيبة مائة الف حديث قال فقلت له بلغني انك تحفظ مائة ألف حديث تقدر أن تملي علي الف حديث من حفظك قال لا ولكن إذا ألقي علي عرفت وقال أبو يعلى الموصلي ما سمعنا يذكر أحد في الحفظ إلا كان اسمه أكبر من رؤيته إلا أبو زرعة فان مشاهدته كانت أعظم من اسمه.