这两个月来，大宋交给金军的金银远远不足数，河北、河东二地各州府的宋军多不服从赵桓割地投降的圣旨。翰离不（完颜宗望）和粘罕（完颜宗翰）知道，大宋已经完全无力满足金军的要求了。河北、河东两地抗金民军如雨后春笋，估数已不下数十万。汴京城内神出鬼没的汴梁军民地道游击战术使得女真人不断损兵折将，折损率远高于跟宋军的正面战场，再加上后勤供给贫乏和士兵思乡引发的士气低落，金军在东京城下再久拖下去，必然会生变。鉴于这一现实，翰离不和粘罕召集金军所有高级将领商议后，决定向金太宗完颜吴乞卖提出要撤兵回去燕京，但在该怎么处理跟宋国的关系上，金军分成了两种意见。
完颜宗翰和完颜吴乞卖的长子完颜宗磐一定要掳徽钦二帝到北方，改让张邦昌这个非赵姓的建立伪楚政权去节制汉人，把汉地搞乱一点，能浑水摸鱼，将汉地慢慢被女真并吞。
而完颜宗望则提出继续让赵佶或赵桓担任赵宋王朝的皇帝，因为这样昏庸无能的统治者容易控制，也不会激起汉人的强烈反抗，如果强行废除赵宋政权，必会引起汉人的深恶痛绝，女真人跟汉人从此就有不共戴天之仇，对金国日后统治大大不利。
但金军都元帅完颜斜也（完颜吴乞卖的弟弟）在完颜宗翰、完颜宗磐的说服下，否决了完颜宗望的意见，坚持废掉了宋徽宗赵佶和宋钦宗赵桓，另立张邦昌为伪楚国皇帝，冒天下之大不韪地将宋金两国的矛盾升级到最顶点，激起了宋境大部分民众的强烈反感和反抗。
完颜斜也下了所有女真骑兵和精锐伪军撤退回燕京的命令，仅留十万伪军残部给张邦昌的伪楚政权。加上这半个月在正面战场、地道巷战、被刺杀、被毒杀而损失掉的十万人马，金军北返将近二十万人，其中有八万女真精骑和十二万伪军精锐。二十万金军精锐将大约两万赵宋皇室成员、宗室、大臣、太监、工匠、百姓围在中军位置，挟裹着一路北上。
让人惊异的是，这两万俘虏中几乎没有女人，皇室的妃子、宫女和大臣的妻妾、女子以及普通人家的女子都没有被抓获起来，相反是这两万俘虏里大部分都是形象气质各异的美男子。自然这都是“龙阳丹”的功劳，因为上面的金军将领们在数月之间都变成了耽美玻璃一族，上有所好，下必甚焉，下面没有吃过龙阳丹的普通金军将士都去抓获美男子上交给高级将领们谋求擢升，而大部分的美女都通过地道悄悄地转移到转兵洞，下层女真士兵就是想找什么花姑娘也是找不到的。尤其是素以美貌著称的茂德公主（帝姬）和柔福公主（帝姬），是卢俊义指定让石秀亲自去拯救的，其他将近一万多个皇室后妃、帝姬、王妃宗姬、族姬、宗妇、大批大臣们的妻女都陆续在金人抢掠之前就被特工给拯救到转兵洞。预计到拯救这类女子在实际中遇到最多的阻拦是来自宋军的，所以卢俊义实现让萧让和金大坚伪造了多封赵桓的圣旨，说是奉皇命将这些女子送到金营，实际上却是送到地道然后转运到转兵洞，再分别护送到山东和安徽等地。
靖康二年二月十日，粘罕（完颜宗翰）传檄金军，全军开拔北归。
十一日这天，盖天大王率金军两万人，先行押运押送大宋宗室和驸马等英俊男子三千余人，还有数百车金银绸缎北归。
十三日下午，粘罕一声令下，驻守在东京外城的剩余十八万金军，全部走下了东京外城头，这数十万金军在攻陷大宋首都东京整整二个月后，携带着掳掠的东京城和大宋皇宫内所有的金银、字画、珍宝、器皿、药品和各种值钱财物。还有，包括二帝在内的宋皇室成员、宗室四千余人，贵戚五千多人在内的近五万宋俘，踏上了北归之路。
此次北归，金军将士加上宋俘，超过二十五万人，如此庞大的队伍，沿途的住宿和食物供应是一大问题，加上担心大宋河北路军民在金军北归路上截击金军。翰离不和粘罕讨论后，决定所有人员分六批北归：
第一批：大宋宗室、贵戚男丁二千二百余人，其中有濮王、晋康、平原、和义、永宁四郡王，以及内侍、僧道、监吏、裁缝、染、木、银、铁工工匠，阴阳师，伎术影戏、傀儡、小唱诸色人等和杂役上万人。
第二批：有宰相何栗及其他不肯在张邦昌下面做官的赵宋官僚，共三十五人，其他宋俘杂役万余人。
第三批：大宋河东和河北两路地方官和守将男性家属两千余人，宋军俘虏数千人。