妾、儿子、闺女，个个都穿着杨裁缝亲手做的衣裳，不论长袍、短褂，样样手工精细，巧夺天工。主人对他也不吝啬，工钱加上赏银，真金白银不下数百两。几年后，杨裁缝有了积蓄，便想起回去看看多年不见的祖父母和多病的爹娘。于是便向主人告假，总管府哪里肯放，发话说工钱可加，人不能走。杨裁缝没法，只好又干了半年，等把主人要做的衣裳等都赶着做完了，便对主人道：“小的已在外面漂泊多年，祖父母已有七旬，爹娘多病，这些年不见，消息全无，也不知家人如何，恳请老爷准假，放小的回家一趟。等安顿好了，再来服侍老爷一家老小。”这总管老爷是个汉人，倒也不是不讲理的人，为人父母，孝顺为大，再没有理由留住他，只好准假两月回家看望家人。杨裁缝这才打道回家。
那些年，湘中这些在外做手艺的世家，不仅要学手艺，还要学几手防身的功夫，要不然，长年在外做工，好不容易赚些银子回乡，没有一手防身功夫，一旦遇到些蟊贼，就会人财两空。这杨裁缝也不例外，在主人家做手工之余，便拜当地武师学功，在潭州时，结识一员副将，此将功夫了得，惯使一根狼牙棒。于是扬成瑞一有空就与他陪练，时间一长，十八般武艺全都练成，刀枪弓箭样样熟练，十几个汉子近不得身。
这杨裁缝风尘仆仆回到阔别已久的石船山，正逢八月十五中秋节。到家一看，房屋已是破旧不堪，祖父母与爹相继病逝，只有娘还在，大姐早已嫁人。娘因三个亲人过世，受到这一个个沉重打击，已是重病在身。杨裁缝悔恨交加，到了三位亲人的坟前痛哭了一场。
杨成瑞受此打击，也没有了外出做手艺赚钱的心情，也看出人生苦短，及时享乐的人生信条。一面使出银子给娘医病，一面仗着身边有些银子，又是大兴土木置地建房，又是买田、买地、买山林。一个小裁缝，哪来这么多的银子，村里人就疑心这杨裁缝的银子来得非抢即盗。暗里就有人谣传这杨裁缝做了土匪强盗，这谣言一传十，十传百，传到了杨成瑞娘的耳中，老人家本来就体弱多病，听了谣言大受刺激，病势加重，不久便咽了气。
这杨成瑞的娘一走，对杨成瑞又是一击重捶，悲痛哀伤不已。只得为娘风风光光置办了丧事。丧事期间银子花了不少，可就是热闹不起来，请来的人一个个胡吃海喝，可做起事来出工不出力。就连爹娘过去的亲朋好友过来吊孝也是悄悄而来，匆匆而去，走走过场而已，想留都留不住。送葬那天，杨成瑞为使送葬的人多，图个热闹，便与姐姐、姐夫商量，凡是送葬者，不分男女老少，送上山者，每人一钱银子，抬灵柩者每人五钱，总算风光抬上了山。丧事完后，杨成瑞百般不解，便问姐姐，姐夫道：“这村里人如何这样，一个个把我当外人似的，一点人情味都没有。谁家不死人，难道他们都是关门做丧事，悄悄背父母上山埋了不成。”
姐夫板着脸没有开口，姐姐含泪道：“你这些年在外面做些什么？哪来这么多的银子。”杨成瑞道：“这都是我的手艺赚来的，一分分都是兄弟的血汗钱。”姐姐道：“你个小裁缝，凭手艺短短几年能赚来那么多银两，不要说别人会信，连我都不信。”杨成瑞一听，疑惑道：“不是做手艺赚来的，还是偷来的抢来的不成？”姐夫再也憋不住了，道：“你难道没听那些人私下是怎么议论的？岳母又是怎么死的？”杨成瑞道：“我娘不是病死的，还是我害死的不成？”姐夫道：“这村里上下都传开了，说你这银子是在外做强盗土匪得来的，岳母是听说你做土匪而活活气死的。”杨成瑞一听，如五雷轰顶，气得七窍生烟。姐姐看弟弟气得脸色都发紫了，安慰道：“我们也不会相信弟会干那营生，可是人言可畏，舌头底下压死人哩，现在不只是你，成不了清白人，就连姐姐一家也要受累背黑锅。”
杨成瑞只好从十五岁时离开家独闯江湖，先去湘乡后去潭州，在