张家玉，字玄子，号芷园，广东东莞人，明万历四十三年十二月十三日(公元1616年1月31日)出生于东莞县城西北村头村(今东莞市万江区村头)一个贫穷家庭，家玉生性聪敏，精通经文，“好击剑，任侠，多与草泽豪士游“，这一点对他日后影响很大。

张家玉19岁考取秀才，为广州儒学生员。22岁乡试中举人后，其族兄张一凤任广西左江兵备参议，招他到官署中读书，明崇祯十六年(公元1643)家玉中进士，授翰林院庶吉士，时年29。

崇祯十七年(公元1644)三月，李自成农民起义军攻入北京，家玉报名被执，四月，家玉上《陈情书》及《荐人才书》与李自成，《陈情书》请宾而不臣。《荐人才书》荐刘宗周、黄道周、史可程(史可法弟)、魏学濂等。自成召见，长揖不跪；许以官职，亦拒绝，于是被缚于五凤楼，七日不食，后获释。当李自成率兵抵抗吴三桂时，家玉乘隙奔回故乡。十二月，在南京成立的南明弘光政府以六等定从李自成诸臣罪，家玉罪在五等，逮问至东莞，拘至南京，为有力者辩解，乃得免。

弘光元年(公元1645)五月，清兵攻破南京，弘光帝朱由崧被俘。张家玉走杭州，与黄道周、苏观生(亦东莞人)、郑鸿逵等奉唐王朱聿键至福州。闰六月，朱聿键即帝位，改元隆武，家玉被授为翰林院侍讲，兼管理《起居注》，不久兼理吏、户、礼三科事。七月初一，隆武帝征江西，家玉请从军，隆武帝爱其文武兼备，命为任兵科给事中，监督御右营郑彩的永胜军，出杉关，又赐“正大光明“银印及数指令性的“堂帖“，便宜行事。十月，清将金声桓围抚州，张家玉率军驰援。十一月，自十一日至十四日，先在许湾(今江西临川)，后于千金坡，与清兵遭遇，家玉用埋伏诱敌之计，率众奋战，接连大败清军，十六日解抚州之围。

隆武二年(清顺治三年，公元1646)正月，家玉多次请郑彩乘胜出兵西进，郑彩畏缩，家玉请之再三，不得已，遣前锋，至硝石，清兵将至，郑彩竟尽撤其军，弃新城(今江西省黎川)，入杉关。家玉与新城知县李翔招募乡兵防守。清兵至，家玉自带亲军、乡兵二百余人与清兵战于城南，在这场保卫福州门户的屏障--新城之战中，因众寡悬殊，家玉兵败、中箭、堕马、折臂昏迷，幸得司都林雄蒙被、冒箭冲入阵中，才把他救回。

当时，隆武朝中，郑芝龙掌管兵权，芝龙与清招抚江南大学士洪承畴有同乡之谊，蓄意降清，竟然与洪承畴暗中相约：“(清兵)由旱路则撤杉关，由水路则撤水师。“郑彩畏敌如虎，家玉有感于郑氏的不可靠，遂自请募兵于潮惠，二月下旬，得到隆武帝钦准筹饷招兵，并为未来的新军赐名“武兴营“，寓意光武中兴，委家玉为新军“监督总理“。三月，家玉至潮惠，即招降镇平(今广东蕉岭)赖其肖，得万人，又招降啸聚山林的黄元吉、黄如海，得万人；家玉在潮惠共招农民军十余万人，选取其中精壮万人分为五营。下当家玉整顿军容准备开赴前线时，抚州、福州相继陷于清兵之手，隆武帝被俘于汀州。刚刚建立起立的武兴营新军，因大势已去，士无固志，粮饷又缺，张家玉在失望之中，只好将武兴营解散。于八月返回家乡东莞，另谋起事。