رسول الله يوم فتح خيبر قدما معه وشهدا مع رسول الله فتح مكة وحنين والطائف وتبوك ثم استعمل رسول الله خالدا على صدقات اليمن وأخاه أيضا أبانا على البحرين وعمرا على تيماء وخيبر ولم يزالوا على ذلك حتى قبض رسول الله فلما بلغهم استخلاف أبى بكر بعد رسول الله تركوا أعمالهم وعادوا إلى المدينة فقال لهم أبو بكر كيف تركتم أعمالكم فقال خالد رأينا ان لا نعمل لأحد بعد رسول الله ولم يبايعوا أبا بكر حتى بايع بنو هاشم.
وروى أبو بكر أحمد بن عبد العزيز الجوهري في كتاب السقيفة باسناده عن عبد الله بن أبي أوفى الخزاعي قال كان خالد بن سعيد بن العاص من عمال رسول الله على اليمن فلما قبض رسول الله جاء إلى المدينة وقد بايع الناس أبا بكر فاحتبس عن أبي بكر فلم يبايعه أياما وقد بايع الناس وأتى بنى هاشم فقال أنتم الظهر والبطن والشعار دون الدثار والعصي دون اللحاء وإذا رضيتم رضينا وإذا سخطتم سخطنا حدثوني ان كنتم قد بايعتم هذا الرجل قالوا نعم قال على برد ورضى من جماعتكم قالوا نعم قال فانا أرضى وأبايع إذا بايعتم اما والله يا بنى هاشم انكم الطوال الشجر الطيبو الثمر ثم انه بايع أبا بكر وبلغت أبا بكر فلم يحفل بها واضطغنها عمر عليه فلما ولاه أبو بكر الجند الذي استنفره إلى الشام قال له عمر أتولى خالدا وقد حبس عنك بيعته وقال لبني هاشم ما قال وقد جاء بورق من اليمن وعبيد وحبشان ودروع ورماح ما أرى ان توليه وما آمن خلافه فانصرف عنه أبو بكر وولى أبا عبيدة بن الجراح.
وروى أبو بكر أيضا قال حدثنا يعقوب عن أبي النضر عن محمد بن راشد عن مكحول ان رسول الله صلى الله عليه وآله استعمل خالد بن سعيد بن العاص على عمل فقدم بعد ما قبض النبي وقد بايع الناس أبا بكر فدعاه إلى البيعة فقال عمر دعني وإياه فمنعه أبو بكر حتى مضت عليه سنة ثم مر به أبو بكر وهو جالس على بابه فناداه خالد يا أبا بكر هل لك في البيعة؟ قال نعم فادن فدنى منه فبايعه خالد وهو قاعد على بابه.