معاوية بن أبي سفيان دار الإمارة، ثم جاءته بيعة الأجناد فقال له أصحابه: إنا لا نتخوف عليك إلا خالد بن يزيد فتزوج أمه فإنك تكسره بذلك، وأمه ابنة أبي هاشم بن عتبة بن ربيعة، فتزوجها مروان فلما أراد الخروج إلى مصر قال لخالد: أعرني سلاحا إن كان عندك فأعاره سلاحا وخرج إلى مصر فقاتل أهلها وسبى بها ناسا كثيرا فافتدوا منه (أي كان جيشه يقبض على الناس مسلمين وغيرهم، ثم يخيرهم بين القتل والفدية كل واحد بمبلغ كذا، فحصل على مال كثير)! ثم قدم الشام فقال له خالد بن يزيد: رد علي سلاحي فأبى عليه، فألح عليه خالد فقال له مروان وكان فحاشا: يا ابن رطبة الاست! قال: فدخل إلى أمه فبكى عندها وشكا إليها ما قاله مروان على رؤوس أهل الشام. فقالت له: لا عليك فإنه لا يعود إليك بمثلها! فلبث مروان بعد ما قال لخالد ما قال أياما ثم جاء إلى أم خالد فرقد عندها، فأمرت جواريها فطرحن عليه الوسائد ثم غمته حتى قتلته، ثم خرجن فصحن وشققن ثيابهن: يا أمير المؤمنين! يا أمير المؤمنين! ثم قام عبد الملك بالأمر بعده فقال لفاختة أم خالد: والله لولا أن يقول الناس إني قتلت بأبي امرأة لقتلتك بأمير المؤمنين). (وذلك في هلال شهر رمضان سنة خمس وستين. وكانت ولايته على الشام ومصر ثمانية أشهر ويقال ستة أشهر). (تاريخ دمشق: 57 / 263).
وفي الطبقات: 5 / 42: (وكان مروان قد أطمع خالد بن يزيد بن معاوية في بعض الأمر ثم بدا له فعقد لابنيه عبد الملك وعبد العزيز ابني مروان بالخلافة بعده، فأراد أن يضع من خالد بن يزيد ويقصر به ويزهد الناس فيه، وكان إذا دخل عليه أجلسه معه على سريره، فدخل عليه يوما فذهب ليجلس مجلسه الذي كان يجلسه فقال له مروان وزبره: تنح يا ابن رطبة الاست، والله ما وجدت لك عقلا! فانصرف خالد وقتئذ مغضبا حتى دخل على أمه... فقالت له: لا يسمع هذا منك