والتف العلماء وطلاب العلم ينهلون من نمير علمه، وكان يتصل به شيعته خاصة يسألونه الحلول لمشاكلهم والأجوبة لمسائلهم، وخلال إقامته في المدينة كان في جميع حالاته تحت رقابة عيون السلطة.
فبالنظر للمكانة العالية التي يتمتع بها الإمام (عليه السلام) في نفوس المسلمين، أراد المتوكل وبدافع من حقده السافر لأهل البيت (عليهم السلام) وهاجس الخوف الذي يراوده من انصراف الناس إلى الإمام الهادي (عليه السلام) أن يعزل الإمام (عليه السلام) عن شيعته ومواليه ومريديه من طلبة العلم ومحصليه، فاستدعاه إلى عاصمة ملكه سامراء، وفرض عليه إقامة جبرية استمرت أكثر من عشرين سنة.
لقد أخرج الإمام (عليه السلام) مكرها من مدينة جده المصطفى (صلى الله عليه وآله)، وقد عبر عن هذا بحديث رواه الشيخ الطوسي وابن شهرآشوب بالإسناد عن المنصوري عن عم أبيه، قال: قال يوما الإمام علي بن محمد (عليه السلام): يا أبا موسى، أخرجت إلى سر من رأى كرها، ولو أخرجت عنها أخرجت كرها... الحديث (1).
قال الشاعر:
وأشخص رغما عن مدينة جده * إلى الرجس إشخاص المعادي المخاصم ولاقى كما لاقى من القوم أهله * جفاء وغدرا وانتهاك محارم وعاش بسامراء عشرين حجة * يجرع من أعداه سم الأراقم (2)