于是他选择加入八路军，张树义本身个子就很高大，身体也很壮实，一看就是个当精兵的料。而且入伍后，他为了打鬼子什么苦都能吃，训练非常努力，所以组织上很重视他。
于是在训练完成后，就把队伍中机枪手的位置给了他，并给他配备了一把捷克式轻机枪。这在当时可是难得的好东西，一般都会分配给经验丰富的老兵，可是如今却交给了刚入伍的张树义，着实把一起和他入伍的新兵们给羡慕坏了。
而张树义也没让自己连长失望，几天后在和日军的一次交火中，他端着机枪发挥了很大作用，虽然说机枪准头不怎么样，而且张树义还是第一次参加战斗，但是他竟然成功击杀了好几名日军，给了对方很大压力。