那时候，因为荣父膝下无子，只有两个闺女，所以荣芝仙的祖父母并不待见荣芝仙姐妹俩。
虽说荣贵老爷子是他们的独子，但他们老俩口却不愿意替他养孩子，甚至，在荣飞燕刚出生的那段时间里，老两口还硬逼着荣贵老爷子赶紧续弦，好传承香火。
只是，荣贵老爷子与荣母感情颇深，不想那么快就把自己的发妻抛之脑后，再加上他也担心自己续弦的妻子不够贤惠，会背着他磋磨自己的两个姑娘，因此，荣贵老爷子就硬生生地拒绝了老父亲的要求，咬着牙硬是一个人带着两个孩子，将她们慢慢养大。
那段时间里，父子俩赌气，所以荣贵老爷子也当真是辛苦无比，不仅是要照顾好还是婴儿的荣飞燕，同时还要下田耕作，好挣出一家人的口粮，就算是农闲时分，那也还是要出去揽些泥瓦匠的活儿，每日里都是早出晚归，辛苦做工。
好在那时候的荣芝仙很是懂事，作为长姊的她，不过才五六岁的年纪就慢慢地学会了照顾妹妹，同时也是在家中学做家务，直至成为家里家外的一把好手，最终才将荣父解放出来，好让他在外面多挣些钱银。
那时候，每每夜晚来将近之时，荣芝仙就会在家里做好晚饭，等待着父亲归来，因为妹妹荣飞燕还小，所以，当时的荣芝仙就是如同这般抱着妹妹玩儿，而小时候的荣飞燕也很可爱，就