صالحا ناسكا متعبدا، روى عنه عبد الملك بن مروان الميداني وأحمد بن عمار بن عصمة ويعقوب ابن إسحاق النسفيون وأبو على منصور بن عبد الله الهروي وأبو نصر أحمد بن محمد الكلاباذي وآخرون.
ولما دخل أبو القاسم الكعبي شيخ المعتزلة نسف أكرموه الا عبد المؤمن الحافظ فلم يأت إليه، قال الكعبي: نحن نأتيه، فلما دخل لم يقم الحافظ ولا التفت من محرابه، فكسر الكعبي خجله بأن قال: بالله عليك أيها الشيخ لا تقم - يعنى ودعا له قائما وانصرف. قال [الحافظ 1] جعفر المستغفري انا أبو جعفر محمد بن علي النسفي قال شهدت جنازة الشيخ أبى يعلى رحمه الله بالموصل فغشينا أصوات طبول مثل ما يكون من العساكر حتى ظن جمعنا ان جيشا قد قدم، فكنا نقول ليتنا صلينا عليه قبل أن يغشانا هذا، فلما اجتمع 2 قاموا للصلاة وانصتوا هدأ الصوت كأن لم يكن، ثم انى رأيت في النوم كأن انسانا واقفا (؟) على رأس درب أبى يعلى وهو يقول: أيها الناس من أراد منكم الطريق المستقيم فعليه بأبي يعلى - أو نحو هذا. مات أبو يعلى في جمادى الآخرة سنة ست وأربعين وثلاث مائة رحمه الله تعالى.
أخبرنا أحمد بن هبة الله بن أحمد عن عبد الرحيم بن أبي سعد انا عثمان ابن علي البيكندي انا الحسن بن عبد الملك النسفي انا جعفر بن محمد المستغفري انا الحسن بن علي بن قدامة انا عبد المؤمن بن خلف انا الهيثم بن خالد انا أبو عثمان سعيد بن المغيرة نا الفزاري عن يزيد بن السمط عن الحكم بن عبيد الأيلي عن القاسم عن عائشة قالت قال رسول الله صلى الله عليه وآله