老佛爷不满意的不仅是小燕子和永琪的婚事，紫薇和尔康的婚事老佛爷也是不满意的，因为她想把晴儿许配给尔康。老佛爷跟五阿哥和尔康谈了话，告诉五阿哥三个月之内小燕子如果没有改变的话就取消他们的婚约，五阿哥十分着急，就每天带着小燕子学习成语背诗词，可是小燕子就是一个三分钟热度的人，她又不喜欢背书，就跟五阿哥吵了起来。小燕子一气之下收拾行李离开了皇宫，但是没有想到的是，离开皇宫之后她会遇到更难得事情。

小燕子以为自己回到民间就自由了，她没有去找柳青柳红，她身上带够了银子，出宫后就去了一家棋社。小燕子是一个不怎么会下棋得人，但是她还总是喜欢指手画脚，可是轩辕棋社就是一个黑店，小燕子在这里输了银子还被偷了包袱，最后就被扣在了店里做苦工。而且轩辕骑射得老板娘是个会武功得人，小燕子根本逃不了。只能乖乖得做苦工。

小燕子也曾反抗过，但是每一次都被母大虫打得遍体鳞伤，她也不敢再反抗了了。而此时没有吃的还要干活挨打得小燕子开始怀念再皇宫里的日子。而五阿哥也开始满城找她。后来还是棋社的老板对小燕子动了心思，想让小燕子做他的小老婆，小燕子这才有机会逃脱。只不过这段日子里，小燕子真的是太惨了。从那以后，小燕子宁愿背诗也不想再离开皇宫了吧。