ثم لما كثر ولد إسماعيل، وأصبحوا ذوي قوة ومنعة، حاربوا الجرهميين بقيادة كبير خزاعة، وانتزعوا منهم ولاية البيت، واستمرت في الخزاعيين إلى أن أخرجها منهم قصي بن كلاب، الجد الرابع للنبي (صلى الله عليه وآله وسلم).
وكانت الولاية بيد حليل الخزاعي أبي زوجة قصي، فجعل الولاية بعد موته لابنته، التي كانت تحت قصي، ولكنه جعل مفتاح البيت مع رجل يقال له أبو غبشان فيقال: إن قصيا اشتراه منه بزق خمر، وبذلك يضرب المثل (أخسر من صفقة أبي غبشان)، وقال في ذلك بعضهم:
أبو غبشان أظلم من قصي وأظلم من بني فهر خزاعة فلا تلحوا قصيا في شراه ولوموا شيخكم إذ كان باعه (1) ومن أجل ذلك فقد جرت بين قريش وخزاعة حرب كان النصر فيها لقريش، وهم أولاد فهر بن مالك (2)، هكذا يقولون.
ولكن ذلك ليس هو الرأي النهائي هنا، إذ أننا نرى البعض الاخر يقول:
إن قصيا قد استعاد البيت من خزاعة بعد حروب جرت بينه وبينهم، ثم تحاكموا إلى عمرو بن عوف، فحكم لقصي (3).
وثمة قول آخر يفيد: أن حليلا أوصى عند موته بولاية البيت لصهره قصي. وهذا ما تزعمه خزاعة (4).