وهو جد هشام بن عبد الملك لأمه، ولما ولي الوليد عزله عن المدينة بعمر بن عبد العزيز.
وقال الواقدي: حدثني ابن أبي سمرة، عن سالم مولى أبي جعفر قال: كان هشام بن إسماعيل يؤذي علي بن الحسين وأهل بيته، يخطب بذلك على المنبر، وينال من علي، فلما ولي المدينة عزله، وأمر بأن يوقف للناس، فقال سعيد بن المسيب لولده محمد: لا تؤذه فإني أدعه لله وللرحم، ومر عليه علي بن الحسين، فسلم عليه، فقال هشام: الله أعلم حيث يجعل رسالاته.
وقد كان سليمان بن عبد الملك شفع فيه إلى الوليد حتى خلاه وعفا عنه.