إن أهل إيلياء سألوه أن يكون الخليفة المصالح لهم، فأخذ عليهم العقود والمواثيق، وكتب إلى عمر فخرج إلى الشأم، واستخلف على المدينة عثمان بن عفان، وقرب خالدا، وأدناه، وأمره. فسار في الناس على مقدمته، وذلك في رجب سنة 16، فنزل الجابية من أرض دمشق ثم صار إلى بيت المقدس، فافتتحها صلحا، وكتب لهم كتابا: بسم الله الرحمن الرحيم، هذا كتاب كتبه عمر بن الخطاب لأهل بيت المقدس، إنكم آمنون على دمائكم وأموالكم، وكنائسكم لا تسكن ولا تخرب، إلا أن تحدثوا حدثا عاما، وأشهد شهودا، وأتاه عمرو بن العاص بالطلاء فقال: كيف يصنع هذا؟ فقال: يطبخ حتى يذهب ثلثاه، ويبقى ثلثه، فقال: ما أرى بذلك بأسا.
واختلف القوم في صلح بيت المقدس، فقالوا: صالح اليهود، وقالوا:
النصارى، والمجمع عليه النصارى، وقام إليه بلال فقال: يا أمير المؤمنين، إن أمراء أجناد الشأم ما يأكلون إلا لحوم الطير والخبز النقي، وما يجد ذلك عامة الناس. فأخذ عمر أمراء الشأم بأن ضمنوا له القوت للمسلمين في كل يوم خبزين لكل رجل وما يصلحه من الخل والزيت، وأمر عمر أن تقسم الغنائم بين الناس بالسوية خلا لخم وجذام، وقال: لا أجعل من خرج من الشقة إلى عدوه كمن خرج من بيته. فقام إليه رجل فقال: إن كان الله جعل الهجرة إلينا فخرجنا من بيوتنا إلى عدونا نحرم حظنا.
ومر عمر راجعا إلى المدينة فمر على قوم قد أقيموا يعذبون في الخراج، فقال عمر: دعوهم ولا تعذبوهم، فإني سمعت رسول الله يقول: إن الذين يعذبون الناس في الدنيا يعذبهم الله في الآخرة، يوم القيامة، فأرسل إليهم، فخلى سبيلهم. فأتاه جبلة بن الأيهم فقال له: تأخذ مني الصدقة كما تصنع بالعرب؟ قال: بل الجزية، وإلا فالحق بمن هو على دينك. فخرج في ثلاثين ألفا من قومه، حتى لحق بأرض الروم، وندم عمر على ما كان منه في أمره.
ووجه عمرو بن العاص فقال له: يا أمير المؤمنين تأذن لي في أن أصير