يسترق أمره عند هارون ويرده عن أشياء كان يعزم عليها من أذاه، فكان ميل هارون إلى هشام أحد ما غير قلب يحيى على هشام، فشيعه عنده وقال له: يا أمير المؤمنين! إني قد استبطنت أمر هشام، فإذا هو يزعم أن لله في أرضه إماما غيرك مفروض الطاعة! قال: سبحان الله!! قال: نعم، ويزعم أنه لو أمره بالخروج لخرج، وإنما كنا نرى أنه ممن يرى الإلباد بالأرض.
فقال هارون ليحيى: فاجمع عندك المتكلمين وأكون أنا من وراء الستر بيني وبينهم لئلا يفطنوا بي ولا يمتنع كل واحد منهم أن يأتي بأصله لهيبتي.
قال: فوجه يحيى وأشحن المجلس من المتكلمين، وكان فيهم ضرار بن عمرو وسليمان بن جرير و عبد الله بن يزيد الإباضي ومؤبد بن مؤبد ورأس الجالوت، قال: فتساءلوا فتكافؤوا وتناظروا وتقاطعوا وتناهوا إلى شاذ من شاذ الكلام، كل يقول لصاحبه: لم تجب، ويقول: قد أجبت، وكان ذلك عن يحيى حيلة عل هشام، إذ لم يعلم بذلك المجلس، واغتنم ذلك لعلة كان أصابها هشام بن الحكم.
فلما تناهوا إلى هذا الموضع قال لهم يحيى بن خالد: أترضون فيما بينكم هشاما حكما؟ قالوا: قد رضينا أيها الوزير! فأنى لنا به وهو عليل؟ فقال يحيى: فأنا أوجه إليه، فأرسله أن يتجشم المشي، فوجه إليه فأخبره بحضورهم وأنه إنما منعه أن يحضروه أول المجلس إبقاءا عليه من العلة وأن القوم قد اختلفوا في المسائل والأجوبة وتراضوا بك حكما بينهم، فإن رأيت أن تتفضل وتحمل على نفسك فافعل.
فلما صار الرسول إلى هشام، قال لي: يا يونس! قلبي ينكر هذا القول ولست آمن أن يكن هاهنا أمرا لا أقف عليه، لأن هذا الملعون - يحيى بن خالد - قد تغير علي لأمور شتى، وقد كنت عزمت إن من الله علي بالخروج من هذه العلة أن أشخص إلى الكوفة وأحرم الكلام بتة وألزم المسجد ليقطع