لقد نقل ياقوت الحموي بسنده أن أبا حاتم توفي ليلة الجمعة لثماني ليال بقين من شوال سنة أربع و خمسين و ثلاث مئة (354) للهجرة، و دفن بعد صلاة الجمعة في الصفة التي ابتناها بمدينة (بست) بقرب داره.
بينما ذكر الحافظ أبو عبد الله الغنجار في (تاريخ بخارى) أنه مات بسجستان سنة (354) و تعقبه ياقوت بقوله: (و قبره ببست معروف يزار إلى الآن، فإن لم يكن نقل من سجستان إليها بعد الموت، و إلا فالصواب أنه مات ببست). تغمده الله بواسع رحمته، و أسكنه فسيح جنته.