الدين بن القطان الذي كان له بوالده اختصاص لكنه لم ينصح له في تحفيظه الكتب وارشاده إلى المشايخ والاشتغال حتى أنه كان يرسل بعض أولاده إلى كبار الشيوخ... لا يعلمه بشئ من ذلك.
وقال عنه ابن حجر: وكان له اختصاص بابي فأسند إليه وصيته فلم يحمد تصرفه.
وتشير المصادر إلى أن نشاة الحافظ ابن حجر كانت برغم ذلك - في غاية العفة والصيانة والرياسة، وان الخروبي المذكور لم يأل جهدا في رعايته والعناية بتعليمه، فكان يستصحبه معه عند مجاورته في مكة، وظل يرعاه إلى أن مات سنة 787 ه‍ وكان الحافظ ابن حجر قد راهق ولم تعرف له صبوة ولم تضبط له زلة.
ولم يدخل الكتاب حتى أكمل خمس سنين فأكمل حفظ القرآن الكريم وله تسع سنين، ومن الذين قرأ عليهم في المكتبة شمس الدين بن العلاف الذي ولى حسبه مصر وقتا وغيره وأكمل حفظه للقرآن على صدر الدين محمد بم عبد الرزاق السفطي، وكان الاتجاه الثقاني السائد آنذاك يقتضي من الذي يستظهر القرآن أن يصلى بالناس إماما في صلاة التراويح في ليالي شهر رمضان، غير أن هذه الفرصة لم تتهيأ لا بن حجر الصبي النابه الذي حفظ القرآن ولم يزل في التاسعة من عمره، وهذه في الحقيقة مسالة شرعية حيث لا تجزئ صلاة المؤتمين إن لم يكن إمامهم بالغا، ومع الاختلاف النسبي في تحديد سن البلوغ، فإن السنة الثانية عشرة من عمر الصبي كانت تتيح له على ما يظهر أن يصلى إماما بالمسلمين إن هو حفظ القرآن الكريم، فكان عليه أن ينتظر بلوغ هذه السن. وفي أول سنة 783 اشتغل بالإعادة، وفي سنة 785 أكمل الحافظ ابن حجر اثنتي عشرة سنة من عمره، ومن حسن حظه ان يكون متواجدا حينئذ مع وصيه الزكي الخروبي في مكة في تلك السنة فصلى التراويح هناك.
ويمكن تصور بوادر نبوغه وشجاعته، فبقدر ما كانت مفخرة له كصبي يتقدم إماما بالمسلمين في بيت الله الحرام فإنها كانت لحظة حاسمة وحرجة اجتازها بثبات وحسن أداء، فكانت الخيرة له في ذلك كما قال، وكان الحج يومئذ يوم الجمعة فحج وجاور في الحرم الشريف ثم صلى بعد ذلك بالمقدس.
ويظهر من استقراء تراجم الذين عاشوا في عصر الحافظ ابن حجر ان تقليدا ثقايا كان يسود بين أوساط التلاميذ الذين يدخلون الكتاب وذلك بالزام التلاميذ بالتدريج في حفظ بعض مختصرات العلوم والكتب وسماع بعضها الاخر، وهي التي اتفق العلماء آنذاك اعتبارها