[الوليد بن يزيد] فلما استخلف الوليد بن يزيد أمر صاحب شرطة سعيد بن غيلان بأخذ خالد بالمال الذي عليه من بقايا خراج العراقين والبسط عليه، وقال: (أسمعني صياحه).
فأقبل سعيد بن غيلان إلى خالد وهو في منزله، فأخرجه، فانطلق به إلى السجن، فعذبه يومه ذلك بألوان العذاب، فلم يكلمه خالد بحرف.
وقال الأشعث بن القيني فيما نال خالدا:
ألا أن خيرا الناس نفسا ووالدا * أسير قريش عندها في السلاسل لعمري، لقد أعمرتم السجن خالدا * وأوطأتموه وطأة المتثاقل فإن تحبسوا القسري لا تحبسوا اسمه * ولا تحبسوا معروفه في القبائل وقدم يوسف بن عمر الثقفي بمال العراقين على الوليد، فجلس الوليد للناس، وأذن لهم إذنا عاما.
فتكلم زياد بن عبد الرحمن الضمري، وكان معاندا لخالد، فقال: يا أمير المؤمنين، على محاسبة خالد بخمسة آلاف ألف درهم، فسلمه إلي.
فأرسل الوليد إلى خالد - وهو في السجن - أن زياد بن عبد الرحمن قد أعطى بمحاسبتك خمسة آلاف ألف درهم، فإن صححتها لنا، وإلا دفعناك إليه.
فأرسل له خالد: أن عهدي بالعرب لاتباع، وبالله لو سألتني أن أضمن لك هذا، ورفع عود من الأرض، ما فعلت.
فلما رأى الوليد بن زيد تقاعد خالد بما عليه من المال أمر به، فسلم إلى يوسف ابن عمر، وقال: انطلق به إلى العراق، وأستاذه جميع ما عليه من المال).