十一月，苏观生拥立朱聿□(钅粤)于广州，年号绍武，丁魁楚、瞿式耜拥立朱由榔于肇庆，年号永历。广东“百里之内，两君抗拒“，二帝先而诋斥指责，继而兵戎相见，于是高峡、三水之间，无日不战。清将佟养甲、李成栋乘虚由潮惠以轻骑侵广州，十二月十四日，清兵破广州，杀朱聿□(钅粤)。清廷新任命的两广总督佟养甲，慕家玉之名，于是致书家玉，尽威逼利诱之能事，被严辞拒绝。佟养甲又纠合与家玉有交往的降清明臣及家玉同榜进士张元琳劝降，亦被家玉以：“玉惜此发也(当时清兵入关，便令人民按清制剃发)，拔去一茎，即禅我以清朝天子，犹且不屑，拘拘官爵，岂足云乎？！“拒绝。他一方面积极组织义军，一方面派人与南海陈子壮、顺德陈邦彦两路义军联络。(三人后被合称为“广东三忠“)

永历元年(清顺治四年，公元1647)正月，东莞知县余经国降清，清军入东莞，到处烧杀抢掠，引起东莞人民强烈反抗，中堂、道滘等水乡一带人民纷纷组织抗清。道滘的胜利鼓舞了张家玉，他立即派人到道滘联系，道滘首领叶如日派船迎家玉，尊为主帅。家玉精选骁勇精壮乡兵五千余人，加紧训练，申明约束，整顿军纪，誓师抗清。

三月初四，家玉起兵道滘，得惠阳淡水农民武装首领李万荣加入。三月十四，家玉率义军约联博罗韩如琰义军攻入莞城，活捉清知县郑鋈，擒杀清典吏赵元鼎，同时任命原明朝的东莞儒学训导张珆为知县。布置停当后即还师道滘，为收复广州作准备。十七日，清广东提督李成栋率大军攻东莞县城，张家玉与之大战于万家租。由于仓促应战，且清军人多势众，家玉兵败，退回道滘。二十八日，清军攻道滘，大战三昼夜，义军虽斩杀清军千余人，但自军亦伤亡惨重，道滘遂陷。家玉败走新安西乡(今属深圳宝安)，得到当地大豪绅陈文豹的支持，“诸山骁勇皆起应之“，遂重整义军，接着攻克新安。四月初十，李成栋遣戚元弼及义子贾九率军攻西乡，为家玉所败。

六月十七日，李成栋亲率大军陷新安，转而攻西乡。清军势大，张家玉且战且退，沿虎门(今东莞市虎门镇)、厚街(今东莞市厚街镇)退到企石铁岗(今东莞市企石镇)，得“草泽之友“姚金、陈谷子、罗同天、刘龙、李启新等投效之众五千余人，力量得到补充，便挥军先陷博罗(今广东博罗)，再克连平(今广东连平)、长宁(今广东新丰)、归善(今广东惠阳)，后回师博罗。清军围博罗，家玉脱围至龙门(今广东龙门)，又招募得四五万人，不久攻陷增城。

七月，陈子壮在番禺；九月，陈邦彦在清远，先后为清兵击溃。十月，李成栋集结步骑大军扑向张家玉驻地增城，双方大战十日，家玉兵败，身中九箭，负重伤，不愿被俘，遂投野塘而死，年仅33岁。

张家玉和众多明末清初的抗清英雄一样，具有至死不渝的爱国热忱及毁家纾难的高风亮节的共同特点。但家玉与他们不同之处，在于对待农民武装的开明态度。他自小受封建知识教育，决定了他不可能同意或参与李自成的农民起义军。但可贵的是，他不象一般亡明士大夫那样，对农民军深恶痛绝，甚至于把明亡之罪归于李自成，尽管他被李自成缚于五凤楼七日，但说到明朝的覆灭时，他说：“我明所用不得人，至有今日之祸。“明室之所以亡，乃是“首逆“的“卖国“，并没有大骂李自成。及后与顾之俊联名上疏，恳请隆武帝联合深明大义的李自成军余部高夫人、李锦等，立营“忠贞“。更有说服力的是，他起兵后，之所以能够蹶而复起，败而复合，都是得到农民武装力量的支持，这一点足见张家玉与一般的士大夫的差别。