1919年12月1日，农历十月初十，尹桂芳出生在在新昌小西门外坎下的小龙潭村。新昌和越剧发源地嵊县毗邻，建县于五代后梁开平二年（908年），唐代前和嵊县同属剡县，位于四明山余脉构成的一块盆地上，连绵群山不断。据尹桂芳自己说，尹家祖籍曾在嵊县甘霖镇尹家村，太平天国时父辈逃战乱到了新昌。新昌县城离嵊县城关30多里路，现在说起来很近，两个县的建筑已经相连，可是当年的山路还是要走一天的。

尹桂芳家乡——新昌县坎下村的小龙潭

尹桂芳原名尹喜花，一个在那个年代很普通的名字，散发着乡土的气息，儿时曾缠过小脚。9岁那年，父亲尹伟见因给地主抬轿做长工劳累过度得了重病，家里贫穷无钱求医去世了。直到父亲被放进棺材的那一刻，尹桂芳才意识到永远失去了父亲。父亲的去世使这个家的天都塌了下来，晚年的尹老师在回忆起“童年丧父”这一段往事时，仍然是泣不成声。童年的苦难造就了她倔强的性格，成为她今后人生道路中一笔宝贵的精神财富。父亲死后，有富人愿意出三百个大洋，将尹桂芳买去做女儿，许诺“有吃、有穿、有花戴”，尹桂芳心里暗想，“天下哪里有这样的好事”，她坚决不从，最后竟以死相抗争。“天下哪里有这样的好事”这句话，后来竟成为尹桂芳的口头语，“凡事要靠自己”是她一辈子立身处世的座右铭。在那个寒冷的冬风里，带着这样生活理念的尹桂芳，一头扎进了十里洋场，扎进了滚滚红尘。村里老人讲，尹桂芳的面貌与父亲极像，尤其一双大眼睛，简直就像一个模子里刻出来的一样。父亲质朴、耐劳、宽厚、开朗的性格，对她的一生影响很大，铸就了后来被越剧界众口尊称为“大姐”的气质和胸怀。

1929年4月，尹桂芳跟随母亲陈荷仙离开了小龙潭村。名义上母亲给人家洗洗衣服，到哪里吃到哪里，其实就跟讨饭一样。母亲背着尹桂芳的弟弟，手上牵着尹桂芳，从新昌一路走到了嵊县。为了生计，尹桂芳投靠嵊县上东乡下任村的“醒狮剧社”。她想只要学好了戏，就能有一个饭碗了，但她第一次学戏的梦竟如此短暂。因为经营不善，只有七天小歌班就关了门。那个年代，女子小歌班红极一时，嵊县的科班遍地开花。很多人仅凭家中的一点积蓄，就开班招收艺徒。尹桂芳又进了新昌一个科班，在潘洪涛师父那里学戏。没有想到的是，这些女孩子正值青春发育期，饭量大得惊人，还没等到满师，就吃垮了班主。尹桂芳也是在吃垮两个班主之后，最终踏上了越剧之路的。

尹桂芳在学戏时，办女子科班官府是要抓的。于是科班挂着小京班的名义，排演《小寡妇上坟》这样的戏，借着京戏教学。京剧对武功的要求相当高，所以艺徒们都要练武功。那时演出相当频繁，老板也相当厉害，今天夜戏演下来，马上就要赶另一个场子，到了那个地方天亮了再睡觉，起来后白天演戏。有时女孩子们的眼睛都挣不开了，老板就想出了一个馊主意，让她们练习打虎跳，翻了几个瞌睡全都醒了。演《三本铁公鸡》时，小姑娘们都要赤膊上阵，真刀真枪对付，哐啷枪铛地插进台板上。就是在这样艰苦的环境里，尹桂芳咬着牙坚持了下来，并为今后打下了坚实的武功基础。