وعن ثابت بن أحمد قال رأيت أبا القاسم الزنجاني في النوم فقال لي مرتين: ان الله يبنى لأهل الحديث بكل مجلس يجلسونه بيتا في الجنة.
قال أبو سعد: طاف الزنجاني الآفاق ثم جاور وصار شيخ الحرم وكان حافظا متقنا ورعا كثير العبادة صاحب كرامات وآيات - إلى أن قال: وإذا خرج إلى الحرم يخلو المطاف ويقبلون يده أكثر مما يقبلون الحجر الأسود. ابن طاهر مما سمعه السلفي منه: سمعت الحبال يقول: كان عندنا سعد بن علي ولم يكن على وجه الأرض مثله في عصره، سمعت إسماعيل بن محمد بن الفضل الحافظ يقول ذلك.
وقال محمد بن طاهر الحافظ: ما رأيت مثل الزنجاني، سمعت أبا إسحاق لحبال يقول: لم يكن في الدنيا مثل سعد بن علي في الفضل. قال الإمام أبو الحسن الكرخي الفقيه سألت ابن طاهر عن الفضل من رأى فقال: سعد الزنجاني وعبد الله بن محمد الأنصاري: قلت فأيهما أفضل؟ فقال: عبد الله كان متقنا، وأما الزنجاني فكان اعرف بالحديث منه، وذلك انى كنت اقرأ على عبد الله فأترك شيئا لأجربه ففي بعض يرد، وفى بعض يسكت، والزنجاني كنت إذا تركت اسم رجل يقول: تركت اسم رجل يقول: تركت بين فلان وفلان فلانا.
قال أبو سعد السمعاني: صدق، كان سعد أعرف بحديثه لقلته، وعبد الله كان مكثرا. قال ابن طاهر سمعت الفقيه هياج بن عبيد يقول: يوم لا أرى فيه سعدا لا اعتد أنى عملت خيرا، وكان هياج يعتمر كل يوم ثلاث عمر.
قال ابن طاهر: لما عزم سعد على المجاورة عزم على نيف وعشرين