البغوي، وعمر بن حفص السدوسي، وإبراهيم بن عبد الله الكجي، وأبا العباس بن مسروق.
وصحب: الجنيد، وأبا الحسين النوري، وأبا محمد الجريري. وكان المرجع إليه في علم القوم وتصانيفهم وحكاياتهم. قال: عندي مائة ونيف وثلاثون ديوانا من دواوين الصوفية. وعنه: يوسف القواس، وأبو عبد الله الحاكم، وأبو الحسن بن الصلت، وعبد العزيز الستوري، والحسين بن الحسن، وابن رزقويه، وابن الفضل القطان، وأبو الحسن الحمامي، وأبو علي بن شاذان. ووثقه الخطيب. وقال إبراهيم بن أحمد الطبري: سمعت الخلدي يقول: مضيت إلى عباس الدوري وأنا حدث، فكتبت عنه مجلسا، وخرجت فلقيني بعض الصوفية فقال: إيش هذا فأريته، فقال: ويحك تدع علم الخرق وتأخذ علم الورق ثم خرق الأوراق. فدخل كلامه في قلبي فلم أعد إلى عباس. ووقفت بعرفة ستا وخمسين وقفة. وقيل: عجائب بغداد في الصوفية ثلاثة: نكت المرتعش، وإشارات الشلبي، وحكايات الخلدي. وقال أبو الفتح القواس: سمعت الخلدي يقول: لا يجد العبد لذة المعاملة مع لذة النفس، لأن أهل الحق قطعوا العلائق التي تقطعهم عن الحق قبل أن تقطعهم العلائق.