توفي في السجن في رجب، سنة تسع وتسعين وثلاث مئة، وورثه ابنه أبو حفص.
قال الحاكم: قرأت عليه ببخارى انتخاب الدارقطني له، ومات شهيدا في الحبس ببلاد الهند. ثم ساق الحاكم في ترجمته تسعة أحاديث.
أخبرنا أحمد بن هبة الله بقراءتي، عن عبد المعز بن محمد، أخبرنا زاهر بن طاهر، أخبرنا أبو يعلى إسحاق بن عبد الرحمن الواعظ سنة إحدى وخمسين وأربع مئة، أخبرنا الأمير أبو أحمد خلف بن أحمد بن محمد بن خلف، حدثنا خلف بن محمد بن إسماعيل، حدثنا خلف بن سليمان، حدثنا خلف بن محمد كردوس، حدثنا خلف بن موسى بن خلف العمي، حدثنا أبي، عن عمرو بن دينار، عن ابن عباس أنه سمع رجلا يقول: اللهم اغفر لي ولفلان. قال: من فلان؟ قال: جار لي أمرني أن أستغفر له.
قال: غفر الله لك ولصاحبك. إن رسول الله صلى الله عليه وسلم سمع رجلا يقول: اللهم اغفر لي ولفلان. قال: " من فلان "؟ قال: جار لي أمرني أن أستغفر له.
قال: " غفر الله لك وله " (1).
هذا مسلسل بخمسة خلفين.