兼任外交部长的周总理对于这种情况也很是头痛。随着两国政府关系逐渐恶化，短期内很难有正常的外交往来。为了缓和中日关系，为以后邦交正常化铺路，周总理提出了“民间先行，以民促官”的方针，通过民间外交来加强两国的联系，打破僵局。

1952年5月，日本议员帆足计、宫腰喜助和参议员高良富在莫斯科参加国际经济会议时，不顾日本当权派的阻拦，接受了我国代表邀请访华的请求，前往北京与我们进行友好洽谈，最终签订了中日第一个民间贸易协定。从此，两国民间外交的局面打开了！

1954年底，亲美的日本首相吉田茂下野，民主党鸠山一郎担任首相。鸠山一郎致力于摆脱美国全面控制，实现外交自由，提高日本的国际地位，因此他十分重视与中国、苏联等国家的关系。他在任期间，虽然国内国际上仍有诸多阻力，中日外交关系难以取得实质性突破，但两国友好交流频繁起来，已经开始明显回温。

1955年11月，伟人接见了前日本首相片山哲，就维护和平、反对战争话题展开了友好会谈。1956年8月，伟人还接见了日本旧军人代表团。10月份，伟人和周总理更是亲自去日本商品展览会会场参观，大大促进了中日关系的改善。1957年2月，日本打破美国带来的束缚，和苏联正式恢复外交关系，这让中日建交的可能性大大提升。

可就在局势一片大好时，二战后曾成为甲级战犯的岸信介上台了。他十分推崇与美国的亲密关系，敌视中国，支持台湾的蒋介石政府。由于他一系列恶化中日关系的举措，使得两国关系进一步恶化，甚至一度倒退到二战后两国关系的初期状态。好在之前的努力并没有完全白费，即便在关系如此恶劣时期，1959年，日本的浅沼稻次郎仍义无反顾的突破政府限制，带领社会党代表团访华。

而此时我国正面临着更严重的问题。在赫鲁晓夫上台地位稳固后，对社会主义阵营的国家态度十分强硬，更想要在军事上控制中国，对此伟人十分愤怒，坚决反对。1958年底，中苏决裂，两国关系进入紧张阶段，我国在国际上的处境愈发艰难。

好在到了60年代，我国逐渐突破西方国家的技术封锁，成功研制出导弹、原子弹和氢弹，大大提高了国际地位，成功在国际舞台上站稳脚跟。而60年代初期，基于推进与亚洲各国的经济关系，新上任的日本首相池田勇人再次调整外交决策，对日台关系开始降温处理，转而倾向于中日关系的改善回温。

此时中苏矛盾越来越大，而美国也在与苏联的争霸中逐渐落入下风。对美国来说，敌人的敌人就是朋友，何况他们对我国处以孤立政策这么多年，已经意识到这项外交政策的失败。因此从1966年起，美国便开始改变对华政策，对中国释放友好态度。

直到1971年，两国开启“乒乓外交”，以小球转动大球，正式打破两国外交坚冰。1972年美国总统尼克松访华，两国关系进一步升温，最终于1979年正式建交。而在60年代中美关系逐渐升温时期，顺应国际大局势以及自身利益，本该随之升温的中日关系却再次降入谷底。

1964年，佐藤荣作担任日本首相，他与自己的哥哥岸信介一样，全都对我国报以仇视态度。这位首相共参拜过靖国神社多达11次，是一位坚定的右翼分子。因此刚刚上任，他便开始对逐渐升温的中日关系进行破坏。

他在任期间，不仅强势阻挠中日友好往来，拒绝交流团入境。还大肆鼓吹“两个中国”，公然干涉中国内政。并且在中国恢复联合国合法席位时，他还主动勾联美国，横加阻拦，大大增加了我国进驻联合国的难度。讽刺的是，这样一位致力于破坏中国和平、中日关系的首相，竟然在1974年获得了诺贝尔和平奖！

好在当时国际环境已经发生改变，美国在苏联优势的压力下，加快了与中国的和解过程。1971年，我国在诸多国家的支持和默许下，赶走台湾，恢复了在联合国的合法席位，国际地位愈发稳固。