فذهب الناس إليه، فأقبلوا على السماع منه، حتى ظهر الخلل في مجلس محمد بن يحيى، قال: فتكلم فيه بعد ذلك ".
وأثار عليه العامة، وحرم على الناس مجالسته والاقبال عليه والسماع منه، فكان يقول: " القرآن كلام الله غير مخلوق، ومن زعم لفظي بالقرآن مخلوق فهو مبتدع، ولا يجالس، ولا يكلم، ومن ذهب بعد هذا إلى محمد بن إسماعيل فاتهموه، فإنه لا يحضر مجلسه إلا من كان على مذهبه ".
ويشتد في عدائه فيقول: " لا يساكنني هذا الرجل في البلد ".
وانقطع الناس عن البخاري إلا مسلم بن الحجاج وأحمد بن سلمة، ويذكرون أن مسلم بن الحجاج عندما سمع هذا القول من الذهلي، أخذ رداءه فوق عمامته، وقام على رؤوس الناس، فبعث إلى الذهلي جميع ما كان كتبه عنه على ظهر جمال.
وبعد هذا خشي البخاري على نفسه من البقاء في نيسابور، وخشي عليه أخلص الناس إليه من هذا، ودخل عليه أحمد بن سلمة النيسابوري، فقال: " يا أبا عبد الله، إن هذا رجل مقبول بخراسان، خصوصا في هذه المدينة، وقد لج في هذا الامر حتى لا يقدر أحد منا ان يكلمه فيه، فما ترى؟ قال: فقبض على لحيته، ثم قال: وأفوض أمري إلى الله إن الله بصير بالعباد، اللهم إنك تعلم أني لم أرد المقام بنيسابور أشرا ولا بطرا، ولا طلبا للرياسة، وإنما أبت علي نفسي الرجوع إلى الوطن لغلبة المخالفين، وقد قصدني هذا الرجل حسدا لما آتاني الله لا غير، ثم قال: " يا أحمد إني خارج غدا، لتخلصوا من حديثه لأجلي ".