1957年，在管宗祥完全不明就里的情况下，他被打成了右派，和郭允泰、张莹等人一起，被安排去了北大荒。而这时，他才刚和于黛琴结婚不久，并且已经有了一个女儿。为了不影响妻子的前途，他忍痛写下退婚书，希望于黛琴另择佳偶，女儿托付给曾一手将自己抚养成人的嫂娘。

结果管宗祥在半个月后收到了于黛琴的来信，短短的几句话，却表明了自己坚决的态度。信中说到：家里的生活由我安排，我会抚养好女儿的。这封信，成为管宗祥在寒冷的北大荒最温暖的慰藉。他由此也看到了一个平凡而伟大的女性内心的坚强和善良。从此他们相依为命，恩爱不离。

1960年12月管宗祥等人终于离开北大荒，回到北京。但他却没能马上做回演员，而是做为场工搬道具、安排布景，后来又被分配到农场养兔子放羊，一干就是三年。1963年，还是在著名演员和崔嵬的坚持下，他才重新获得上银幕的机会，那就是在《小兵张嘎》中出演伪军大队长。可好景不长，不久他又被赶出北影，前往青海话剧团报道。后来为了批斗他，又将他们一家拉回到北京。

回到北影后，他们在北影演员宿舍的过道上找了个栖身之处。这时他又添了个儿子，一家四口，就靠着于黛琴一个月几十块钱的工资艰难度日。在这段期间，管宗祥还曾去北京药物研究所熬了三年中药，被人戏称为“煮药（主要）演员”。