سمع الحارث بن أبي أسامة، وعلي بن عبد العزيز، وأبا مسلم الكجي، وعمر بن حفص السدوسي، وأبا العباس بن مسروق.
وصحب أبا الحسين النوري، والجنيد، وأبا محمد الجريري.
حدث عنه: يوسف القواس، والحاكم، وأبو الحسن بن الصلت، وعبد العزيز الستوري، والحسين الغضائري، وابن رزقويه، وابن الفضل القطان، وأبو الحسن الحمامي، وأبو علي بن شاذان.
وقال الخطيب: ثقة. قال إبراهيم بن أحمد الطبري: سمعت الخلدي يقول: مضيت إلى عباس الدوري، وأنا حدث، فكتبت عنه مجلسا، وخرجت، فلقيني صوفي، فقال: أيش هذا؟ فأريته، فقال:
ويحك، تدع علم الخرق، وتأخذ علم الورق! ثم خرق الأوراق، فدخل كلامه [في قلبي،] فلم أعد إلى عباس (1)، ووقفت بعرفة ستا وخمسين وقفة.
قلت: ماذا إلا صوفي جاهل يمزق الأحاديث النبوية، ويحض على أمر مجهول، فما أحوجه إلى العلم.
قيل: عجائب بغداد: نكت المرتعش (2)، وإشارات الشبلي (3)، وحكايات الخلدي (4).