سمع إسحاق بن راهويه وأبا مصعب الزهري ويعقوب بن كاسب ومحمد بن عبد العزيز بن أبي رزمة وأبا كريب وطبقتهم فأكثر. حدث عنه أبو حامد ابن الشرقي وأحمد بن أبي بكر الحيري ومحمد بن أحمد بن حمدون وأبو بكر الصبغي وخلق كثير. قال أبو زكريا العنبري: كان أولا في الزهد وصحبة الا بدال إلى أن بلغ من العلم ما بلغ ولم يعقب فلما كبر تصدق بأموال يقال ان قيمتها خمسة آلاف [الف 1] درهم.
وقال الصبغي: كنا نقول ان أبا عمرو الخفاف يفي بمذاكرة مائة الف حديث، وصام الدهر نيفا وثلاثين سنة. وقال الحاكم سمعت أحمد بن إسحاق الفقيه يقول دخلت مع أبي عمرو على أبي ذر القاضي فلما هم بالرواح قال له القاضي: يمكث الشيخ ساعة، قال فدخل أبو أحمد بن ياسين الباهلي فأجلسه القاضي عن يساره ثم قال: أيها الشيخ ان السلطان كاره لما يبلغه من وحشة بينكما، فلو تقربتما إليه بالصلح. فقال أبو عمرو: ألهذا حبسني القاضي؟ قال: نعم، فمد أبو عمرو فكشف رأس أبى احمد وأمر بلسانه على كفه وصفع أبا احمد وقال: قل للسلطان أبو أحمد لي ولد ثم قال أبو أحمد أيحسن هذا أيها القاضي؟ قال لا وأبلغ السلطان أبا إبراهيم فضحك كثيرا وقال: لا تعاود هذا الشيخ.
وقال الحاكم سمعت أبا الطيب الكرابيسي يقول سمعت امام الأئمة ابن خزيمة يقول على رؤوس الملا يوم مات أبو عمرو الخفاف: لم يكن بخراسان احفظ منه. وقال أبو العباس السراج: ما رأيت احفظ من