كنت أرعى غنم أهلي، وكانت لي هرة صغيرة فكنت أضعها بالليل في شجرة وإذا كان النهار ذهبت بها معي فكنوني أبا هريرة، ولا ضير من تصديق ما قاله، ويبدو أن هذه الهرة قد ظلت تلازمه وهو بالمدينة، فقد رآه النبي وهو يحملها في كمه فقال: يا أبا هريرة، واشتهر به، كما ذكر ذلك الفيروزآبادي في قاموسه المحيط.
أصله ونشأته كل ما عرف عن أصله - على ما قيل - أنه من عشيرة سليم بن فهم من قبيلة أزد، ثم من دوس إحدى قبائل العرب الجنوبية - أما نشأته فلم يعرفوا عنها شيئا - وكذلك لم يعرف الناس عن حياته في بلاده (اليمن) في مدى السنين التي قضاها بها قبل إسلامه - غير ما قاله هو عن نفسه من أنه كان يرعى الغنم وكان فقيرا معدما يخدم الناس بطعام بطنه، وروى عنه ابن قتيبة قال: نشأت يتيما وهاجرت مسكينا وكنت أجيرا لبسرة بنت غزوان بطعام بطني وعقبة رجلي فكنت أخدم إذا نزلوا، وأحدوا إذا ركبوا (1).
وأخرجه ابن سعد عن أبي هريرة قال: وقد رأيتني وإني لأجير لابن عفان وابنة غزوان بطعام بطني وعقبة رجلي (2)، أسوق إذا ارتحلوا وأحدوا (3) بهم إذا نزلوا (4). ولقد كان أبو هريرة أميا لا يقرأ ولا يكتب، وظل على أميته طول حياته.