لذلك قيل فيها: " مزة كلب "، قال الشاعر ابن قيس الرقيات:
حبذا ليلتي بمزة كلب * غال عني بها الكوانين غول وبها على ما يروى قبر الصحابي دحية بن خليفة بن فروة الكلبي القضاعي (33)، فلعل هذا هو الذي يفسر اختيار هذا المكان من دمشق سكنا له، إذ ربما كان له فيها بعض الأقرباء. ولا نعلم فيما إذا كان قدم دمشق وحده أم صحبة عائلته حيث تسكت المصادر عن ذلك، كما لا نعلم متى كان قدومه، ولكن يظهر أنه قدم منذ فترة مبكرة لقول تلميذه ورفيقه الامام الذهبي: " نشأ بالمزة " (34).
وقرأ يوسف القرآن الكريم وشيئا من الفقه، لكن عائلته على ما يظهر، لم تعتن به العناية الكافية ولم توجهه إلى طلب الحديث منذ فترة مبكرة كما فعلت عائلة رفيقه وتلميذه الامام الذهبي (35)، ويبدو أنها لم تكن عائلة مشهورة بالعلم والطلب، ولم يكن والده من العلماء المشهورين (36)، فلم يكن له إلا أن يطلبه هو بنفسه حينما بلغ الحادية والعشرين من عمره، فكان أول سماعه في سنة (675) (37)، فلو كان له من يعتني به، ويستجيز له، ويوجهه، لأدرك إسنادا عاليا، قال تلميذه