这时江面风力渐弱 ， 南宋水军开始反击 。海鳅船踏车之士 ， 虽系新征民工 ， 却毫无惧色 ， 冒着射来的飞箭踏车前进 。兵将见民工这般勇敢 ， 深为感动 。海鳅船冲入金军船队 ， 将其船队拦腰截断 。船上金兵大半溺死江中 。
完颜亮不甘失败 ， 将其余船只重新集结 ， 准备再次进攻 。这时天已傍晚 ， 暮色苍茫 。适有一队自光州(今河南潢川县)撤下的宋军路经采石 ， 虞允文立即让他们自山后至江边往返运动击鼓 ， 充作疑兵 。据载 ， 当时采石附近百姓 ， 也来助战观战 ， 采石至东梁山沿江山坡滩岸 ， 连绵数十里喊声不绝完颜亮忽听岸上鼓声震天 ， 人声如潮 ， 又见“山上人皆驻足动 ， 遂成江南壁立万仞之势” ， 以为宋援军到达 ， 慌忙下令退兵 。
虞允文预料完颜亮虽遭重创 ， 但不会死心 ， 必将卷士重来 。于是连夜部署：将战船秘驶杨林河口 ， 封锁金军出入的水道;另派一队海鳅船停泊于杨林河口上游 ， 船上盛以火箭和霹雳炮 ， 安置一批神射手 ， 以用霹雳炮和神臂弩杀伤敌人 。虞允文命令水军将领盛新道：“决不能让敌船逃脱一只 ， 如果敌船不出杨林河口 ， 就远射岸上的金兵 。”
翌日 ， 金水军果然又发动进攻 。完颜亮督军进至杨林河口 ， 宋军战船已列阵守候 。金军正准备上前突阵 ， 宋军射手扳动神臂弩 ， 箭如飞蝗 ， 金兵纷纷应弦而倒 ， 上岸逃命者亦被射死在江岸烂泥中 。杨林河口上游之宋军战船 ， 趁势引发火箭、霹雳炮 。霹雳炮“盖以纸为之 ， 而实以石灰硫磺 ， 炮自空而下坠水中 ， 硫磺簿水而火自水跳出 ， 其声如雷 ， 纸裂而石灰散为烟雾 ， 迷其人马之目 ， 咫尺不相见 ， 遂压虏舟 ， 人马皆溺 。”(明张)燧《采石之战有先备》)完颜亮战船缺乏防火装置 ， 全军三百多艘战船被烧毁大半 。金军在淮西之主力 ， 在此基本被消灭 。
完颜亮军事上遭到惨败 ， 意欲使离间计瓦解宋军 。遂修书信一封送至宋营 。此时他尚不知王权已去信仍致王权云：前时我率大军南下 ， 你不敢交锋 ， 可见你惧怕于我 。现在 ， 我来到江边 ， 见宋兵并不很多 。昨日交锋 ， 却见你水军进退有方 ， 对你甚为欣赏 ， 你若率军投降 ， 保你高官厚禄;你若执迷不悟 ， 我将从瓜州渡江 ， 到时对你决不宽饶 。虞允文认破了完颜亮的离间计 ， 在与李显忠商议后 ， 决定以李显忠名义书一回信 ， 信中云：前王权误国 ， 临阵逃脱 ， 使得你如此嚣张狂妄 。现朝廷已革去王权之职 ， 统兵将军已换成我李显忠 ， 难道你不知我大名?倘若你等在瓜州渡江 ， 我定会在那里与你一决雌雄 。完颜亮读后 ， 旁顾左右曰：我只知南宋老将刘  ， 怎么李显忠也这般厉害?左右诸将无词对符号 。一偏校道：莫非是李世辅?完颜亮吃惊不小 ， 大骂左右：你们劝我渡江 ， 难道不知李世辅么?因此气得暴跳如雷 ， 连杀几名将士泄愤 。随即率残兵至淮东 ， 企图从瓜州渡江 。
【书生虞允文：南宋唯一一次击败金渡江的战役】