لأخذت منه مائة ألف ألف فندم وقال قد رهنت لساني معه ولا آمن ولا أرجع.
وأخبر أصحاب خالد خالدا فقال قد أخطأتم ولا آمن أن يأخذها ثم يعود ارجعوا فرجعوا فأخبروه أن خالدا لم يرض فقال قد رجعتم قالوا: نعم قال والله لا أرضى بمثلها ولا مثليها فأخذ أكثر من ذلك وقيل أخذ مائة ألف فأرسل يوسف إلى بلال بن أبي بردة فقبضه وكان قد اتخذ بلال بالكوفة دارا لم ينزلها فأحضره يوسف مقيدا فأنزله الدار ثم جعلت سجنا وكان خالد يصل الهاشميين ويبرهم فأتاه محمد بن عبد الله بن عمرو بن عثمان بن عفان ليستميحه فلم ير منه ما يحب فقال أما الصلة فللهاشميين وليس لنا منه إلا أنه يلعن عليا فبلغت خالدا فقال إن أحب فلنا عثمان بشيء.
وكان خالد مع هذا يبالغ في سب علي فقيل كان يفعل ذلك نفيا للتهمة وتقربا إلى القوم.
وكانت ولاية خالد العراق في شوال سنة خمس ومائة وعزل في جمادى الأولى سنة عشرين ومائة ولما ولي يوسف العراق كان الإسلام ذليلا والحكم فيه إلى أهل الذمة فقال يحيى بن نوفل فيه:
(أتانا وأهل الشرك أهل زكاتنا * وحكامنا فيما نسر ونجهر) (فلما أتانا يوسف الخير أشرقت * له الأرض حتى كل واد منور) (وحتى رأينا العدل في الناس ظاهرا * وما كان من قبل العقيلي يظهر) في أبيات ثم قال بعد ذلك: