十一月初，兀术占领长江北岸和县。金军沿长江北岸东进，与李成合攻乌江，离建康不到百里。杜充向朝廷上报“督师采石防守”，却深居简出不做准备。飞入杜充寝阁，苦劝再三至于流涕，但也无济于事。
　　听到金军渡江的消息后，杜充才派都统制陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王王燮的一万三千人策应。陈淬率军力战，飞率右军和金国汉军万夫长对阵，而王王燮不战而逃，陈淬战死，诸将皆溃，飞苦战无援，整军退屯建康东北的钟山。杜充又弃建康，逃往真州，不久降金。建康失陷。
　　时岳飞的部下有叛逃者，飞慷慨陈词道：“我辈……当以忠义报国，立功名，书竹帛，死且不朽。若降而为虏，溃而为盗，偷生苟活，身死名灭，岂计之得哉！建康，江左形胜之地，使胡虏盗据，何以立国？今日之事，有死无二，辄出此门者斩！”士卒皆被感动，愿随飞作战。
　　兀术占领建康府后，亲率主力追赶宋高宗。高宗从明州乘船经海上逃到温州避难。
　　金军南侵后，岳飞军则在其后方，乘机给予痛击。金军占领溧阳后，飞遣刘经率兵千人，乘夜攻克了溧阳县城。飞亲自领军转战广德境中，六战皆捷。驻军广德军的钟村，军粮用尽，将士忍饥，却不敢扰民。
　　年（建炎四年）初春，宜兴正被溃军骚扰，县令请岳飞来宜兴，说：“邑之粮糗，可给万军十岁！”二月，飞进驻宜兴，屯于张渚镇。在宜兴，飞收降了因政局混乱而在当地为匪的多支部队以及金军强征来的河北、河东等地签军。飞不歧视、苛待他们，伪军们都传话说：“此岳爷爷军。”争来降附。飞抗金英勇，爱民如亲，宜兴人民感恩戴德。他们说：“父母生我也易，公之保我也难。”
　　二月，金军以舟师浮海，穷追高宗三百里未获。兀术借口“搜山检海已毕”，大肆烧杀抢掠之后，从大运河水陆并进，经秀州（浙江嘉兴）、平江（江苏苏州）等地向北撤退。经过常州时，岳飞率军从宜兴赶来截击。飞四战皆捷，擒女真万户主少孛堇等十一人。常州截击战之后，飞首次得到朝廷诏令，命他配合镇江韩世忠，从左翼进击金军，伺机恢复建康。
　　金军在水路与韩世忠相持达四十日，被困于黄天荡，因奸细献策才得以入江。陆路上，岳飞在四月二十五日于建康城南三十里的清水亭首战大捷，金兵横尸十五里。