ولم يكن بمكة بيت في الحرم، إنما كانوا يكونون بها نهارا، فإذا أمسوا خرجوا، فلما جمع قصي قريشا، وكان أدهى من رئي من العرب، انزل قريشا الحرم، وجمعهم ليلا، وأصبح بهم حول الكعبة، فمشت إليه أشراف بني كنانة، وقالوا: ان هذا عظيم عند العرب، ولو تركناك ما تركتك العرب.
فقال: والله لا أخرج منه، فثبت.
وحضر الحج، فقال لقريش: قد حضر الحج، وقد سمعت العرب ما صنعتم، وهم لكم معظمون، ولا أعلم مكرمة عند الرب أعظم من الطعام، فليخرج كل إنسان منكم من ماله خرجا! ففعلوا، فجمع من ذلك شيئا كثيرا، فلما جاء أوائل الحج نحر على كل طريق من طرق مكة جزورا، ونحر بمكة، وجعل حظيرة، فجعل فيها الطعام من الخبز واللحم، وسقى الماء واللبن، وغدا على البيت، فجعل له مفتاحا وحجبة، وحال بين خزاعة وبينه، فثبت البيت في يد قصي، ثم بنى داره بمكة، وهي أول دار بنيت بمكة، وهي دار الندوة.
وروى بعضهم انه لما تزوج قصي إلى حليل بن حبشية الخزاعي حبى ابنته، وولدت له، أوصى حليلا عند موته بولاية البيت إلى قصي، وقال:
إنما ولدك ولدي، وأنت أحق بالبيت. وكانت حبى بنت حليل بن حبشية قد ولدت لقصي بن كلاب، عبد مناف، وعبد الدار، وعبد العزى، وعبد قصي، وقال آخرون: دفع حليل بن حبشية المفتاح إلى أبي غبشان، وهو سليمان بن عمرو بن بوي بن ملكان بن أفصى بن حارثة بن عمرو بن عامر، فاشتراه قصي منه وولاية البيت بزق خمر وقعود، فقيل: اخس من صفقة أبي غبشان، ووثبت خزاعة، فقالت: لا نرضى بما صنع أبو غبشان، فوقعت بينهم الحرب، فقال بعضهم:
أبو غبشان أظلم من قصي، * وأظلم من بني فهر خزاعة