فلما سار سمعت العرب به فأعظموه ورأوا جهاده حقا عليهم فخرج عليه رجل من أشراف اليمن يقال له (ذو نفر) وقاتله فهزم ذو نفر وأخذ أسيرا فأراد قتله ثم تركه محبوسا عنده ثم مضى على وجهه فخرج عليه نفيل بن حبيب الخثعمي فقاتله فانهزم نفيل وأخذ أسيرا فضمن لأبرهة أن يدله على الطريق فتركه وسار حتى إذا مر على الطائف بعثت معه ثقيف (أبا رغال) يدله على الطريق حتى أنزله بالمغمس فلما نزله مات أبو رغال فرجمت العرب قبره فهو القبر الذي يرجم.
وبعث أبرهة الأسود بن مقصود إلى مكة فساق أموال أهلها وأصاب فيها مائتي بعير لعبد المطلب بن هاشم ثم أرسل أبرهة حناطة الحميري إلى مكة فقال سل عن سيد قريش وقل له إني لم آت لحربكم إنما جئت لهدم هذا البيت فإن لم تمنعوا عنه فلا حاجة لي بقتالكم.
فلما بلغ عبد المطلب ما أمره قال له والله ما نريد حربه هذا بيت الله وبيت خليله إبراهيم فإن يمنعه فهو يمنع بيته وحرمه وأن يخل بينه وبينه فوالله ما عندنا من دفع فقال له انطلق معي إلى الملك فانطلق معه عبد المطلب حتى أتى العسكر فسأل عن ذي نفر وكان له صديقا فدل عليه وهو في محبسه فقال له هل عندك غناء فيما نزل بنا. فقال وما غناء رجل أسير بيدي ملك ينتظر أن يقتله ولكن أنيس سائس الفيل صديق لي فأوصيه بك وأعظم حقك وأسأله أن يستأذن لك على الملك فتكلمه بما تريد ويشفع لك عنده إن قدر قال حسبي. فبعث ذو نفر إلى أنيس فحضره وأوصاه بعبد المطلب وأعلمه أنه سيد قريش فكلم أنيس أبرهة وقال هذا سيد قريش يستأذن فأذن له.