لألبس الثياب لكي إذا نظر الناس إلي يقولون قد ترك أبو زرعة الدنيا ولبس الثياب الدون. وإني لآكل ما يقدم إلي من الطيبات لكيلا يقولوا: إنه لا يأكل الطيبات أزهده.
وقال يونس بن عبد الأعلى: ما رأيت أكثر تواضعا من أبي زرعة.
وقال عبد الله القزويني، وهو ضعيف: ثنا يونس بن عبد الأعلى: ثنا أبو زرعة. فقيل ليونس: من هذا قال: إن أبا زرعة أشهر في الدنيا من الدنيا وقال عبد الواحد بن غياث: ما رأى أبو زرعة مثل نفسه.
وقال سعيد بن عمرو البردعي: سمعت محمد بن يحيى الذهلي يقول: لا يزال المسلمون بخير ما أبقى الله لهم مثل أبي زرعة يعلم الناس.
وقال أبو أحمد بن عدي: نا أحمد بن محمد القطان: نا أبو حاتم المرادي: حدثني أبو زرعة عبيد الله بن عبد الكريم وما خلف بعده مثله علما وفهما، ولا اعلم من المشرق إلى المغرب من كان يفهم هذا الشأن مثله.) وقال ابن عدي: سمعت القاسم بن صفوان، سمع الزاهد، وأبو زرعة، وسمى آخر.
وروى الخطيب بإسناد، عن أبي زرعة قال: ما سمعت أذني شيئا من العلم إلا وعاه قلبي، وإني كنت أمشي في السوق فأسمع صوت المغنيات من الغرف، فأضع إصبعي في أذني مخافة أن يعيه قلبي.
وروى أن أبا زرعة كان من الأبدال.