岳飞要从朱仙镇退兵的消息一传出去，附近的百姓十分震惊，纷纷聚集在街头。他们拦住岳飞的马，哭泣着说：“我们顶着香盆，运着粮草，迎接官军，这是金人都知道的事。现在相公要回去，我们只有死路一条了。” 岳飞看到这个情景，也禁不住流下眼泪，他叫左右兵士拿出高宗的诏书来给大家看，说：“朝廷下了紧急金牌，我不能擅自作主留在这里啊！” 百姓们见留不住岳飞，都放声痛哭；兵士们也个个心酸，掩着脸哭。整个朱仙镇响起一片哭声。

    岳飞心里不忍，宣布暂缓五天撤兵，让愿意跟随他们的百姓一起走。过了五天，岳家军开始撤兵的时候，当地百姓成群结队随军南迁。

    后来，岳飞奏请朝廷，把这些百姓安置在南方安家垦荒。 兀术打听到岳家军已走，马上重整旗鼓，向南进攻。本来被岳飞收复的河南许多州县，一下子又丢失得精光。 秦桧和宋高宗决心向金朝求和。他们恐怕受岳飞、韩世忠等人的阻挠，把他们召回京城，让韩世忠做枢密使，岳飞做枢密副使，名义上是提升，实际上是解除了他们的兵权。秦桧夺了岳飞的兵权，就派人向金朝求和。

    公元１１４１年十一月，金朝派使者到临安，谈判议和条件。谈判结果：宋、金之间，东面以淮河为界，西面以大散关（今陕西宝鸡西南）为界；南宋向金朝称臣，每年向金朝进贡银绢各二十五万。历史上把这次屈辱投降的和约叫作“绍兴和议”（绍兴是高宗的年号）。