ففي سنة (221 ه‍ / 736 م) بدأت المعاول الإسلامية تشق الأرض جوار دير للنصارى كان هناك، إيذانا ببناء مدينة العسكر، والتي عرفت بعيد بنائها ب‍ (سر من رأى).
المعتصم العباسي محمد بن هارون الرشيد صاحب الفكرة، وواضع فصول قصة البناء التي تعتبر - في تفاصيلها - وكأنها واحدة من قصص الخيال أو ألف ليلة وليلة، للمبالغ الهائلة في أرقامها التي صرفت في عمليات البناء وإنشاء القصور الفخمة المجللة. فقد جلب المعتصم بعض أعمدة قصوره وصخورها النادرة من أوربا وغيرها من مناطق الدولة الإسلامية النائية.
ثم جاء بعد المعتصم ابنه الواثق الذي تعاهد مدينة أباه إنشاء وإعمارا، ثم ابنه الآخر المتوكل الذي أسرف في البذخ إلى حد يفوق التصور المعقول واللامعقول، فقد أوصل المدينة إلى أوج عمرانها، وأقصى اتساعها، وهو الذي وسع بناء المسجد الجامع الكبير، وبنى مئذنته