قال: ولدت بجبال جيان في شعبان سنة اثنتين وتسعين وأربعمائة.
وقدم دمشق وله نيف وعشرون سنة، ففتح مكتبا عند قنطرة سنان. وتفقه على أبي الفتح نصر الله المصيصي.
قال الحافظ ابن عساكر: ثم زاملني إلى بغداد، وسمع من: ابن الحصين.
وسمع بدمشق من جمال الإسلام. ودخل بعد العشرين إلى نيسابور، فسمع بها من أبي القاسم سهل بن إبراهيم المسجدي، وأدرك بمرو أبا منصور محمد بن علي الكراعي، وسمع منه.
وسمع ببلخ من: عثمان بن محمد الشريك. وسمع صحيح مسلم من الفرواي.
روى عنه: أبو المظفر بن السمعاني، وأبو الفتوح بن الحصري، والقاضي بهاء الدسن يوسف بن شداد، وأبو حفص عرم بن قشام، وأبو محمد ابن الأستاذ.
أقام مدو بالموصل، ثم قدم حلب وولي خزانة الكتب بها.
قال ابن النجار: قرأت في كتاب أبي بكر الجياني: كنت مشتغلا بالجدل والخلاف، مجدا في ذلك، فنمت فرأيت النبي صلى الله عليه وسلم كأنه قد جاءني وقال لي: قم يا أبا بكر. فلما قمت تناول يدي فصافحني، قم ولى وقال لي: تعال خلفي. فتبعته نحوا من عشر خطوات وانتبهت.
قال: فأتيت شيخنا أبا طالب إبراهيم بن هبة الله الدياري الزاهد، فقصصت عليه، فقال لي: يريد منك رسول الله صلى الله عليه وسلم أن تترك الخلاف وتشتغل بحديثه إذ قد أمرك بأتباعه، فتركت الاشتغال بالخلاف، وكان أحب إلي من الحديث. وأقبلت على الحديث.) سئل الحصري عن الجياني فقال: شيخ حافظ، عالم بالحديث، وفيه فضل.