وبلغ به الحرص على تحصيل العلم مبلغا جعله يستأجر أحيانا بعض الكتب، ويطلب إعارتها له، ويبرز في هذا المجال من بين شيوخه بدر الدين الببشتكي الشاعر المشهور الذي إعارة جملة من الكتب منها كتاب الأغاني لأبي الفرج الأصبهاني وغيره.
ويبدو من خلال الاستقراء ان فتورا خصل في نشاطه الثقافي استمر إلى أول سنة تسعين وسبعمائة، اشتغل في هذه المدة بالتجارة فنشأ في زشط تجاري لان جده وأعمامه كانوا تجارا، وكان وصيه الخروبي رئيسا للتجار في مصر.
ولعل لموت الخروبي سنة 787 ه‍ اثرا في فتور ابن حجر واشتغاله بالتجارة حيث فقد من كان يحثه على الاشتغال بالعلم، وهو في مرحلة يحتاج فيها إلى ذلك، كما ترتب عليه ان يكفل نفسه وسيعض بأعباء الحياة، وقد يتضح ذلك من قول السخاوي، ولو وجد من يعتني به في صغره لأدرك خلقا ممن اخذ عن أصحابهم ".
في سنة 790 ه‍ أكمل السابعة عشرة من عمره، وحفظ فيها القرآن الكرين وكتبا من مختصرات العلوم، وقرأ القراءات تجويدا على الشهاب احمد الخيوطي، وسمع صحيح البخاري على بعض المشايخ كما سمع من علماء عصره البارزين واهتم بالأدب والتاريخ.
وقد لازم حينئذ أحد أوصيائه العلامة شمس الدين محمد بن القطان المصري، وحضر دروسه في الفقه والعربية والحساب وغيرها، وقرأ عليه شيئا من الحاوي الصغير فأجاز له ثم درس ما جرت العادة على دراسته من أصل وفرع ولغة ونحوها وطاف شيوخ الدراية.
ولما بلغ التاسعة عشرة من عمره نظر في فنون الأدب، ففاق أقرانه فيها حتى لا يكاد يسمع شعرا الا ويستحضر من أين اخذ ناظمه، وطارح الأدباء وقال الشعر الرائق والنثر الفائق، ونظم المدائح النبوية والمقاطيع.
وتمثل سنة 793 منعطفا ثقافيا في حياة ابن حجر، فمن هذه الثقافة العامة الواسعة، واجتهاده في الفنون التي بلغ فيها الغاية القصوى أحس بميل إلى التخصص فحبب الله إليه علم الحديث النبوي فاقبل عليه بكليته.
وأوضحت المصادر ان بداية طلبه الحديث كان في سنة 793 ه‍ وغير انه لم يكثر الا في سنة 796 ه‍ وكتب بخطه: " رفع الحجاب، وفتح الباب، واقبل العزم المصمم على التحصيل، ووفق للهداية إلى سواة السبيل " فكان ان تتلمذ على خيرة علماء عصره.
وكان شيخه في حديث زين الدين العراقي الذي لازمه عشر سنوات، وحمل عنه جملة نافعة من علم الحديث سندا ومتنا وعللا واطلاعا، فقرا عليه ألفيته وشرحها فنون