وزحف إليه يزيد بن الوليد رويدا رويدا إلى قرية تعرف بالبخراء، فنزل قصرا بها بعساكره يتلو بعضها بعضا، فقاتلوه، فقاتلهم حتى قتل، فابتدره الناس بأسيافهم، فاحتزوا رأسه، وقطعوا يده، فنصب رأسه بدمشق.
وكان قتله لخمس بقين من جمادى الآخرة سنة 126، وكانت ولايته سنة وخمسة أشهر، وكان على شرطه عبد الرحمن بن حميد الكلبي، وعلى حرسه قطري مولاه، وحاجبه قطن مولاه، وخلف من الولد الذكور أربعة عشر ذكرا:
عثمان، ويزيد، والحكم، والعباس، وفهرا، ولؤيا، والعاص، وموسى، وقصيا، وواصلا، وذؤابة، وفتحا، والوليد، وسعيدا.
وأقام الحج للناس في ولايته سنة 125 محمد بن موسى الثقفي.