年（靖康二年）二月，岳飞随军转战曹州，他挥动双锏，身先士卒，直贯敌阵。宋军以白刃近战打败金军，追奔数十里。飞因功迁武翼郎。刘浩的兵马进驻广济军定陶县的柏林镇后，元帅府又命他改隶黄潜善，不再让宗泽指挥此军。这时黄潜善掌握着人马，却只知保存实力，按兵不动，使只有二万五千人的宗泽陷入孤军奋战的境地。宗泽虽取得了一些胜利，队伍却也有不少损耗，难以伤及金军元气。
　　是年四月，金军从已被洗劫一空的汴京城撤出，满载着金帛、珍宝北上，徽宗、钦宗二帝和皇室成员、机要大臣、百工等余人都做了俘虏。北宋至此灭亡，史称“靖康之耻”。
　　五月初一，康王赵构在应天府（今河南商丘）即位，是为南宋高宗，改元建炎。赵构虽起用了抗战派名臣李纲为左相，但仍旧对投降派黄潜善、汪伯彦等人颇为器重。赵构采取黄潜善等避战南迁的政策，预备南行“巡幸”，欲退避到长安、襄阳、扬州等地。时年岁的岳飞得知这个消息，不顾自己官卑职低，披肝沥胆，向宋高宗赵构“上书数千言”，其略云：
　　陛下已登大宝，社稷有主，已足伐敌之谋。而勤王之师日集，彼方谓吾素弱，宜乘其怠击之。黄潜善、汪伯彦辈不能承圣意恢复，奉车驾日益南，恐不足系中原之望。臣愿陛下乘敌穴未固，亲率六军北渡，则将士作气，中原可复。
　　然而，他的耿耿丹心只换得“小臣越职，非所宜言”八字批语，并且被革除军职、军籍，逐出军营。
　　岳飞的抗金决心并未因此动摇。年（南宋建炎元年）八月，岳飞渡河北上，投入当时“声满河朔”，正多方收揽英才抗金的河北西路招抚使张所营中。张所知悉飞的遭遇后，十分同情，便留他在“帐前使唤”。由于岳飞的非凡见识、高超武艺，张所终于决定破格提拔他。先是“以白身借补修武郎”，继而又升为统领，后又升为统制，分隶于名将王彦部下。-
　　然而高宗、黄、汪等为了向金人乞和，有意打压朝中的抗金力量：先是坚决主张抗金的李纲被罢相，继而张所也因从前曾弹劾黄潜善而遭贬谪发配岭南，最终死于贬途。被张所派去收复卫州等地的王彦、岳飞一军，也因河北西路招抚司的撤销而成为孤军。