وفي رواية: لما بويع لأبى بكر بالخلافة عزل خالد بن سعيد وطلبه إلى المدينة.
وفي خبر: لم يزل خالد وأخواه عمرو وأبان على أعمالهم التي استعملهم عليها رسول الله صلى الله عليه وآله حتى توفى رسول الله صلى الله عليه وآله، فلما توفى، رجعوا عن أعمالهم، فقال لهم أبو بكر: ما لكم رجعتم؟ ما أحد أحق بكم بالعمل من عمال رسول الله صلى الله عليه وآله، ارجعوا إلى أعمالكم. فقالوا: نحن بنو أبى أحيحة لا نعمل لأحد بعد رسول الله صلى الله عليه وآله أبدا، وكان خالد حينها على اليمن كما ذكرنا، وأبان على البحرين، وعمرو على تيماء وخيبر وقرى عربية.
وتأخر خالد وأخوه أبان عن بيعة أبى بكر، فقالا لبنى هاشم: أنتم لطوال الشجر، طيبوا الثمر، ونحن تبع لكم.
في طبقات ابن سعد: أخبرنا محمد بن عمر قال:
حدثني... عن إبراهيم بن عقبة، قال: سمعت أم خالد بنت خالد بن سعيد بن العاص تقول:
قدم أبى من اليمن إلى المدينة بعد أن بويع لأبى بكر، فقال لعلى وعثمان: أرضيتم بنى عبد مناف أن يلي هذا الأمر علكيم غيركم؟؟ فنقلها عمر إلى أبى بكر فلم