此同时，署理两广总督的张之洞也奏请朝廷，“依照洋法操练新军”。
黎元洪这个时候，人正在上海，他还是想在海军找份事做，但同样没能如愿。这时，他偶然听到了张之洞在南京招聘人材的消息。看到留在海军已经希望渺茫，黎元洪觉得这也是一条出路。虽然，离开自己喜欢的海军有些可惜，但想到父亲为了生活，二次从军，从头来过，自己换个兵种也实在算不了什么。
这样，他就来到了南京。张之洞在南京组建的这支新军叫“自强军”，共十三个营，二千六百人。张之洞大胆创新，聘请德国教官三十五人担任正职，副职则由从天津、广东的武备学堂的优秀毕业生中招聘。全部装备，都是按当时欧洲先进国家的标准配置。