بكر بن أبي عمرو الحافظ البخاري يقول: كان سبب منافرة أبي عبد الله أن خالد بن أحمد الذهلي الأمير خليفة الطاهرية ببخارى سأل أن يحضر منزله، فيقرأ " الجامع " و " التاريخ " على أولاده، فامتنع عن الحضور عنده، فراسله بأن يعقد مجلسا لأولاده، لا يحضره غيرهم، فامتنع، وقال: لا أخص أحدا. فاستعان الأمير بحريث بن أبي الورقاء وغيره، حتى تكلموا في مذهبه، ونفاه عن البلد، فدعا عليهم، فلم يأت إلا شهر حتى ورد أمر الطاهرية، بأن ينادى على خالد في البلد، فنودي عليه على أتان. وأما حريث، فإنه ابتلي بأهله، فرأى فيها ما يجل عن الوصف.
وأما فلان، فابتلي بأولاده، وأراه الله فيهم البلايا (1).
وقال الحاكم: حدثنا خلف بن محمد، حدثنا سهل بن شاذويه قال: كان محمد بن إسماعيل يسكن سكة الدهقان، وكان جماعة يختلفون إليه، يظهرون شعار أهل الحديث من إفراد الإقامة، ورفع الأيدي في الصلاة وغير ذلك. فقال حريث بن أبي الورقاء وغيره: هذا رجل مشغب، وهو يفسد علينا هذه المدينة، وقد أخرجه محمد بن يحيى من نيسابور، وهو إمام أهل الحديث، فاحتجوا عليه بابن يحيى، واستعانوا عليه بالسلطان في نفيه من البلد، فأخرج. وكان محمد بن إسماعيل ورعا، يتجنب السلطان ولا يدخل عليهم.
قال الحاكم: سمعت أحمد بن محمد بن واصل البيكندي، سمعت أبي يقول: من الله علينا بخروج أبي عبد الله، ومقامه عندنا، حتى سمعنا منه هذه الكتب، وإلا من كان يصل إليه وبمقامه في هذه النواحي: فربر