接下来非常顺利，到南洋卖了货，又运回来不少货物回到沥港，这一路上与汪直交流的过程中，我出了很多建议，汪直对我的才干非常欣赏，一心要我加入他的集团，做他的助手。我一心想回去找沈兰。所以没同意，回到沥港我便要求立即回淳安。汪很惋惜地对我说，如果在淳安不如意可以随时来找他。
我带着一万多两白银的银票回了淳安，想着终于可以有资格追求沈兰了，没想到现实再次给了我当头一棒：沈兰已经与杨起元结婚了，还刚刚生了个儿子！我难过极了，这么多年的拼搏努力，九死一生，没想到是这个结果！那段时间我甚至都没有活下去的希望了。在杨起元的门口，看到他们两个携手而行，我怒火中烧，想立即闯进杨宅亲手杀了杨起元，就是他侮辱我，又抢了沈兰，这口气如何能咽得下。不过再三思量，我觉得这么做不妥。既然沈兰已经结婚了，而且看得出过的很幸福，我也没必要再去打扰她了，只要她幸福就好。所以思来想去，我决定回去找汪直入伙，离开淳安这块伤心地。
回到沥港，我很快成了汪直的左右手，与毛海峰、徐海、叶宗满等并列成为汪直的船团长。汪直只想本本分分地做走私生意，对朝廷抱有极大的期望，当时海盗、倭寇不断侵扰各处，地方官员希望汪直能帮助消灭这些海盗和倭寇，那样可以许汪直官位，还允许进行自由贸易。汪直一直的梦想就是想解除海禁，自由贸易，自己这个走私集团便可以名正言顺、合理合法的进行贸易了。所以听了官员的允诺后，立即同意，主动配合官府，替官府维持沿海秩序，逐渐确立了自己“海上霸主”地位，并试图在舟山沥港重建双屿港的繁华。
嘉靖三十二年五月开始，汪直受海道副使李文进邀请，和明军把总张四维击破一股倭寇，俘获倭寇海船两艘，接着又平定了陈思盼等多股烧杀掠夺的海盗，我一直跟着汪直去杀海盗。可就在我们跟随朝廷在外征缫海盗倭寇时，汪直手下的徐海却私自勾结倭寇抢掠地方，汪直回来后大怒，并因此与徐海决裂，可地方的官员和百姓却仍把这罪归到了汪直的身上，汪直也被认为是主使和策划了这些事件。
嘉靖三十二年闰三月的一个深夜，明军偷袭沥港，总兵俞大猷带着军队杀了过来。我们拼死力战一夜也没打过明军。眼看着沥港是保不住了，汪直准备放弃这苦心经营的沥港，逃到日本去。我提出一个方案，由我回到淳安当个贸易商人，一方面可以继续进行走私贸易。一方面还可以刺探军情，随时为汪直提供消息。汪直觉得这样最好，于是我带了汪直交给我的几十万两银子回了淳安。开设了很多分店，表面是在国内贸易，实际还是进行海上走私。汪直在离开中国沿海后，在日本的松津浦建立了宋国，控制三十六个岛屿，自称徽王，同时设置官属。
可朝廷这些当官的太狡猾了，嘉靖三十六年，在胡宗宪总督承诺通商互市的情况下，再加上之前汪直的老母妻儿都被放了出来。汪直被打动了，率船队来到了岑港，结果途中遭遇台风，汪直照约定的时间晚了些，遭到胡宗宪的怀疑，在舟山被明军水师团团包围，在胡宗宪劝慰下，汪直亲自来到定海关向其投降。胡宗宪带汪直如上宾，几个月后，劝汪直至杭州见见巡按王本固，结果，嘉靖三十七年二月五日，汪直在杭州西湖游玩期间被王本固诱捕，下到大狱之中。听说准备在今年年末处斩，汪直的手下试了很多办法也没救出首领。”
“也许是天意，当年沥港被攻破后，我鬼使神差地又回到了淳安。其实在我内心中还是想生活在沈兰左右。在淳安这几年中，我继续进行海上走私，收拢了一些人才，生意也越做越大，但我最想做的还是想见沈兰。于是我经常装扮成老人的样子，想方设法接近沈兰，只是想多看几眼。可是却一直没有机会。直到今年的元宵节的灯会上，一个偶然的机会看到了沈兰，她正和杨起元手牵着手看花灯，