ابن الزبير كبد أبيك، ثم نفاه إلى الطائف، فلما حضرته الوفاة قال لعلي ابنه:
يا بني، الحق بقومك من بني عبد مناف بالشام، ولا تقم في بلد لابن الزبير فيه إمرة. فاختار له صحبة يزيد بن معاوية على صحبة عبد الله بن الزبير. ووالله إن عداوة هذا يا أمير المؤمنين لنا جميعا بمنزلة سواء، ولكنه قوى علي بك وضعفت عنك، فتقرب بي إليك، ليظفر منك بما يريد، إذ لم يقدر على مثله منك، وما ينبغي لك ان تسوغه ذلك في، فان معاوية بن أبي سفيان، وهو أبعد نسبا منك الينا، ذكر يوما الحسن بن علي فسفهه فساعده عبد الله بن الزبير على ذلك، فزجره معاوية وانتهره فقال: إنما ساعدتك يا أمير المؤمنين! فقال: إن الحسن لحمي آكله. ولا أوكله.
فقال عبد الله بن مصعب: إن عبد الله بن الزبير طلب امرا فأدركه. وإن الحسن باع الخلافة من معاوية بالدراهم، أتقول هذا في عبد الله بن الزبير، وهو ابن صفية بنت عبد المطلب؟
فقال يحيى: يا أمير المؤمنين، ما أنصفنا ان يفخر علينا بامرأة من نسائنا وامرأة منا، فهلا فخر بهذا على قومه من النوبيات والاساميات والحمديات!
فقال عبد الله بن مصعب: ما تدعون بغيكم علينا وتوثبكم في سلطاننا؟
فرفع يحيى رأسه إليه، ولم يكن يكلمه قبل ذلك، وإنما كان يخاطب الرشيد بجوابه لكلام عبد الله، فقال له: أتوثبنا في سلطانكم؟ ومن أنتم - أصلحك الله - عرفني فلست أعرفكم؟ فرفع الرشيد رأسه إلى السقف يجيله فيه ليستر ما عراه من الضحك ثم غلب عليه الضحك ساعة، وخجل ابن مصعب.
ثم التفت يحيى فقال: يا أمير المؤمنين، ومع هذا فهو الخارج مع أخي على أبيك والقائل له:
إن الحمامة يوم الشعب من دثن * هاجت فؤاد محب دائم الحزن إنا لنأمل أن ترتد الفتنا * بعد التدابر والبغضاء والإحن