يجلس إليه أهل الطائف بعد الفجر وبعد العصر، فيتكلم بينهم، كان يحمد الله ويذكر النبي صلى الله عليه وآله والخلفاء بعده، ويقول ذهبوا فلم يدعوا أمثالهم ولا أشباههم ولا من يدانيهم، ولكن بقي أقوام يطلبون الدنيا بعمل الآخرة، ويلبسون جلود الضان، تحتها قلوب الذئاب والنمور، ليظن الناس إنهم من الزاهدين في الدنيا، يراءون الناس بأعمالهم، ويسخطون الله بسرائرهم، فادعوا الله أن يقضى لهذه الأمة بالخير والاحسان، فيولي أمرها خيارها وأبرارها، ويهلك فجارها وأشرارها، ارفعوا أيديكم إلى ربكم وسلوه ذلك، فيفعلون.
فبلغ ذلك ابن الزبير، فكتب إليه:
أما بعد، فقد بلغني إنك تجلس بالطائف العصرين فتفتيهم بالجهل، تعيب أهل العقل والعلم، وإن حلمي عليك، واستدامتي فيئك جرأك على، فاكفف - لا أبا لغيرك - من غربك، وأربع على ظلعك، واعقل إن كان لك معقول، وأكرم نفسك فإنك إن تهنها تجدها على الناس أعظم هوانا، ألم تسمع قول الشاعر:
فنفسك أكرمها فإنك إن تهن * عليك فلن تلقى لها - الدهر - مكرما.
وإني أقسم بالله لئن لم تنته عما بلغني عنك لتجدن جانبي خشنا، ولتجدنني إلى ما يردعك عنى عجلا، فر رأيك، فإن أشفى بك شقاؤك على الردى فلا تلم إلا نفسك.
فكتب إليه ابن عباس:
أما بعد، فقد بلغني كتابك، قلت: إني أفتى الناس بالجهل، وإنما يفتى بالجهل من لم يعرف من العلم شيئا، وقد آتاني الله من العلم ما لم يؤتك. وذكرت إن حلمك عنى، واستدامتك فئ جرأني عليك، ثم قلت: اكفف من غربك، وأربع على