妻子知道自己无法改变丈夫的想法，只能一直哭着为他收拾衣服。当日，张煌言辞别妻子，离开了家乡。没想到，这一别，竟是永别，从此之后夫妻二人再未见过面。直到十多年后，他们夫妻先后在不同的地方被清廷所*。

张煌言护送鲁王朱以海到达舟山后，被鲁王任命为右佥都御史，负责招兵买马。张煌言军纪严明，对百姓犹如亲人，百姓们纷纷加入反清大军，张煌言的兵马战舰增多，有了和清朝一拼的资本。清军多次围攻舟山，都被张煌言等人击退。在此期间，他的父亲去世，他得到消息后没有回家奔丧。在忠孝不能两全时，他选择了前者。

接下来的几年，张煌言创造了“四入长江”的战绩，震惊了整个清朝。顺治十年（永历九年、1655年），张煌言和另一位名将张明振率领600多艘战船从崇明岛沿江而上，在江面上，他们攻破清军的层层封锁，直接*到南京燕子矶。然后趁清军主力到来之前，扬帆而去。把清军气得直跺脚。

同年，张煌言再次由海入江，他们一路烧毁清军的粮草辎重，速战速决，给清军南下带来了很大的困扰。

到了年底，张煌言第三次入长江，他们这一次比前两次更加深入，不仅在南京郊外遥祭明太祖，还夺走了清军大量的火药和大炮。

接下来，张明振战死，张煌言为了创造更大的战果，主动联合郑成功一同入长江。这是张煌言第四次入长江。这一次，清军的封锁尤为严密，为了出其不意，由张煌言带领一万兵马虚张声势攻打南京，在吸引清军主力之后，郑成功率军直捣镇江，一举攻破镇江，取得一次大胜。

镇江城破，清廷震动，急调各路大军驰援。而沿江的百姓看到明朝的战旗，纷纷躁动起来。很多已经投降清朝的明朝旧臣也看到了明朝复国的希望，纷纷重新反叛清朝。一时间，沿江有24个县重回南明势力范围。

其实，这种战果是张煌言冒着被歼灭的危险佯攻南京，拖住了清军的主力才促成的。张煌言得知郑成功攻破镇江后，连忙写信告诉郑成功，让他趁清军援兵没来之前，乘胜追击，扩大战果。但是，接下来，情况变了。

郑成功错判形势，认为清军没有这么快到来，他没有继续扩大战果，而是选择了在原地休养。两天之后，清军援兵赶来，郑成功苦战，最终败退。因为情况紧急，郑成功直接带着大军沿江逃走，来不及接应在南京的张煌言。张煌言被清军四下包围，成了“瓮中之鳖”。

由于郑成功的失误，让张煌言创造的大好形势犹如昙花一现，很快消失。

张煌言得知郑成功撤军，非常生气，急忙整合舰队，打算沿江冲出包围，无奈清军已经合围，张煌言于是下令众人弃船登岸，分头撤退。在撤退过程中，张煌言的一万多部下大多数被*或被捕，残余的一千多人也因为找不到张煌言而放弃了抗清事业选择隐居。接下来的几个月，张煌言没有了消息，很多人认为他可能被清军所*。

实际上，张煌言登岸之后，被清军作为头号目标一路追*，他每走一个地方，就分散一部分兵力逃走，直到后来，他乔装打扮，隐匿于乱山之间，忍饥挨饿，整日和鸟兽为伍，终于摆脱了清军，逃出生天。等他逃回浙江沿海，很多先他而到的部下喜极而泣，很多打算隐居的旧部听闻张煌言还活着，又重新走向战场。张煌言重拾旧部，继续着他的反清事业。然而，这时大好局势已经不再。

1662年（康熙元年、永历十六年）底，郑成功东渡台湾，赶走荷兰人，选择固守台湾岛。而永历帝也在缅甸被吴三桂活捉，最要命的是，鲁王朱以海在这一年病逝了。这样一来，在东南地区，坚持抗清的队伍，仅有张煌言一支了。而且，没有了皇室的大旗，光复明朝的前景一片昏暗。