旧日本陆军根据日俄战争以及列强在第一次世界大战当中吸取的经验教训，于1922年（大正十一年）开始正式列装本国研制的首款轻机枪—口径为6.5毫米的“ 十一年式軽機関銃 ”。可以说是提前预判到了世界列强在这一时期准备发展轻机枪的趋势，具有一定的前瞻性。然而，这款日本定型装备的首款国产轻机枪由于在实战中存在着供弹机构复杂，机械故障频繁等诸多问题，且维护保养困难，在作战使用中多有不便，因此在旧陆军内部研制一款在可靠性更加出色的轻机枪的呼声开始高涨起来。
1931年9月19日凌晨，在以炮火轰击北大营3小时后，左臂以白布为号的日本步兵冲入北大营。
1931年9月18日，九一八事变爆发，日军装备的大正十一年式轻机枪首次经历了实战的考验，然而却由于供弹方式存在先天不足以及供弹机构结构过于复杂等问题，频繁在战斗中出现故障。
抗日战争期间中国军队广泛装备的ZB-26“捷克式”轻机枪而当时中国军队装备的“ZB-26轻机枪”（中方称捷克式）性能特别优秀，在双方轻机枪对射时，经常可以压制日方装备的大正十一年式轻机枪。以至于到了让作战在第一线的日军将ZB-26称之为“无故障轻机”的程度。
由于性能优异被缴获的ZB-26轻机枪在抗日战争期间成为了日军的准制式装备，并安排了专门的弹药生产线。面对这种情况，陆军技术本部认为有必要研究对策加以解决，于1932年4月召开了有关推动轻兵器研制审查工作进展的恳谈会。在会上充分汲取各方面的意见之后，决心集中各方面力量以竞标的方式研制一款比现役的十一年式轻机枪故障更少、维护保养操作更方便、射击精度更高的轻机枪。
捷克式在成为日军的准制式装备后被称为「チ」（发音qi）式7.9毫米轻机枪在研制工作正式开启之前，技术本部先是在1932年的6月，综合各方面的要求后，共计拟定了十五条的设计要领。其中除减少故障，简化结构等针对十一年式的缺陷提出的改良项目之外，还包括将供弹方式由插弹子（弹夹）式改为箱式弹匣供弹，枪管与散热片采用一体化设计、在受到敌火力压制的状态下可快速拆卸、以及加装手枪式小握把等。第一次竞标共计有四家厂商参加，分别是：小仓造兵厂（即陆军造兵厂）、东京瓦斯电气株式会社（现日立集团）、日本特殊钢合资会社（现日特金株式会社）、南部铳制造所（后改称新中央工业）。其主要的设计指标包括全枪质量9千克以下，口径6.5毫米，全枪长度在1米以上、1.2米以下，枪口初速730米/米以上，射速约为500发/分等，射击精度方面要求达到与大正十一年式轻机枪相当的水平。1933年4月，随着官营的陆军造兵厂与其他三家民营企业的样枪相继制造完成，在位于小石川的东京炮兵工厂内部射击场内，展开了第一次竞标测试。同年6月，在对第一次竞标测试的试验结果进行了详细的审查评测之后，陆军造兵厂与南部铳制造所的样枪获得了官方的认可，获准参加第二回合的样枪竞标测试。同年11月，改进后的两支样枪在东京炮兵工厂以及富津射击场开展了各项实弹射击试验，试验结果表明样枪的射击精度与大正十一年式轻机枪大体相当，自动机能基本良好，但在与供弹相关的系统方面出现了一些故障。在同年12月至第二年2月间，两支样枪还参加了在中国东北展开的冬季耐寒试验以及交由步兵学校和骑兵学校开展的应用试验。
1934年5月，在综合了陆军技术本部的自己的试验数据，在中国东北获得的试验数据，以及陆军步、骑两校的使用反馈意见之后，陆军方面决定开启第三次样枪测试工作，并作出如下要求：
（一）为加快研制进度，参加测试的两支样枪的设计均由陆军技术本部负责。
（二）将结合了陆军造兵厂与南部铳制作所两家设计的优点而设计出的新枪称之为“A号铳”，交由南部铳制造所进行试制。
（三）将抛壳窗朝下的样枪进行重新设计，交由陆军造兵厂试制并称其为“B号铳”。
两枪于1936年（昭和十一年，日本神武纪元二五九六年）夏相继试制完成，期间经历了各种反复的试验和改良。最终在经综合审查对比之后，A号铳因具备有更轻的重量、主要部件可靠性更高中选，以“九六式軽機関銃”的名义成为了日本陆军的制式装备（正式列装实际上从1938年的6月开始）。
为了彻底解决大正十一年式轻机枪因供弹机构复杂所导致的故障频繁的问题，九六式轻机枪采用了技术上更为简单可靠的30发弹匣供弹。箱型弹匣位于机匣顶部，抛壳窗位于机匣右侧。因此弹药不容易被粉尘和沙砾污染，降低了故障发生概率。长期以来一直存在于日本机枪上的注油装置（油壶）亦被废除。自动原理依然为长行程活塞导气式，卡铁起落式闭锁。
96式轻机枪通过扳动位于枪管根部的杠杆，借助提把便可以在实战条件下轻松实现快速拆卸枪管。弹药方面该枪最初配套使用的是与三八式步枪相同的有坂6.5mm步枪弹（三八式実包），因在实战中故障频繁经常出现因弹壳断裂导致卡壳的问题，因此不得不同大正十一年轻机枪一样，改用减装弹（三八式実包減装弾）。九六式轻机枪在技术上的主要特点是对枪膛内部实施了镀铬处理，减轻了枪膛内部的磨损，提升了枪管寿命。
96式轻机枪作为步兵自动支援火力十分罕见地配备了刺刀
而该枪在设计上的另外一个特点就是作为一挺轻机枪十分罕见地配备了刺刀（三十年式銃剣）。在当时，世界各国的陆军之中为轻机枪配备刺刀的只有日本，而且，指望一把安装在重量将近10千克的轻机枪上的刺刀，在白刃战中有效发挥作用也是不现实的。不得不说从操作的角度来看为该枪配备刺刀是毫无用处的。至于到底为什么要为该枪配备刺刀，由于现在相关资料已经遗失，其真正的原因如今已不可考，但综合来看可能出于如下几个考虑：
在九一八事变以前，日本的步兵分队（相当于步兵班）由四个班（相当于战斗小组）组成，一个班编有三名士兵。四个这样的步兵分队（12人）编成一个步兵小队（相当于步兵排），其中有两个分队各配备一挺轻机枪。也就是说，是两挺轻机枪为整个小队（4个分队，合计48名士兵）提供火力支援。与此相对应的是，九一八事变以后，步兵分队逐步取代小队成为了战场上最小的基层作战单位。受此影响，陆军方面于1937年对改订步兵操典草案进行了重新编纂，决定将陆军的轻机枪下发到每一个分队，伴随分队实施火力支援。即轻机枪手需要时常伴随分队的普通步兵，实施同样的战斗行动。
一个齐装满员的96式轻机枪分队。在平时日本步兵分队的编制一般为10~12人（含分队长）战时则扩编为13~14人。也就是说，步兵在进行冲锋时，九六式轻机枪的射手也要被要求手持该枪与其他步兵一道冲锋。为此，九六式轻机枪在枪管根部上方设置了提把，并规定机枪射手在冲锋时需以左手提提把，右手持小握把，将枪背带绷紧拉满后，据枪于腰际。而日本的步兵在持上刺刀的步枪实施冲锋时，为防止被敌人察觉到意图，在通常情况下不进行射击，因此在步枪上了刺刀后就会排空膛内所有子弹以防误击或走火。轻机枪的射手在随步兵冲锋时，亦被要求排空弹仓内的所有弹药，与可以上刺刀肉搏的步枪不同的是，机枪没有了弹药就等于是全无战斗力的摆设，所以有人认为这就是为九六式轻机枪配备刺刀的真正原因。
一张当时的海报（陆军省发行·第36回陆军纪念日海报）描绘了一名士兵手持九六式轻机枪冲锋的场景。如图所绘，机枪上了刺刀。另外需要指出的是，这名士兵并没有使用提把，而是通过类似握革的隔热织物直接握住了枪管。枪上没有安装弹匣，亦没有使用枪支的背带。虽然这样据枪的姿势肯定不是教范所规定的正确动作，但通过这张图已经足以让人体会到当时在战场上使用轻机枪进行拼刺冲锋的那种气氛。可见，九六式轻机枪的射手大概率确实用该枪实施过白刃战。
与此相对应的是，还有一种说法认为，为该枪配备刺刀并非是以实施白刃战为主要目的，其真正的目的，其实是作为提升射击稳定性的配重。之所以这么说是因为该枪的机匣部分较重，枪管部分较轻，所以射击时枪口容易上跳。实际上不光是九六式轻机枪，基本上所有的轻机枪基于构造上的限制都有类似倾向。于是便产生了为该枪加装的刺刀座和配发的刺刀可以作为配重减轻枪口上跳的说法。再加之所用的刺刀（三十年式銃剣）基本上所有的士兵都有配发，所以也就不用准备专门的配重了。
不过，在如今的官方资料当中并没有把刺刀当作配重使用的相关记载，也没有任何官方资料可以证明该枪在一开始设计时就有把刺刀和刺刀座当作配重的设想。只是在当时士兵的个人记录以及战后的实弹测试中，有提到过该枪上刺刀后射击稳定性更好，命中精度更高。因此，将刺刀作为配重使用，很可能是第一线的官兵在实战当中发挥自己的聪明才智，创造出的一种土办法。
另外，九六式轻机枪还配备了放大倍率为2.5倍的瞄准镜（九六式照準眼鏡具）。这主要是因为旧日本陆军在战斗中对于轻机枪的运用方式主要是以点射为形式的狙击射击为主。该瞄准镜由官营的大宫第一工厂（陆军工厂）、以及民营的日本光学、东京光学、高千穗光学、榎本光学、富冈光学等公司联合生产。与狙击步枪配发的瞄准镜为同一型号，一枪一镜，没有调整装置。
由于九六式轻机枪最初使用的6.5毫米弹药“三八式普通実包”相比于其他国家后继研制的6.5mm级同级别弹药在弹壳厚度方面略薄，因此在弹药击发时会出现过度膨胀破裂（或被拉断）的弹壳残留在弹膛内部的现象。连续射击中的机枪一旦发生弹壳破裂，下一发子弹装填进来，便会发生卡弹故障。由于该枪在发射“三八式普通実包”时经常发生这种故障，与同样使用该弹的大正十一年式轻机枪故障原因相同，因此不得不选择使用减少了发射药的“三八式実包減装弾”。
96式轻机枪的30发弹匣，用料非常扎实，这主要是因为该枪的弹匣并不被看作是即用即抛的消耗品，而是作为重复利用的随枪配件配发，数量亦十分有限，需要副射手战场回收并加以妥善保养。由于同十一年式轻机枪一样使用了专用的减装弹，因此九六式轻机枪虽然与步兵装备的三八式步枪口径同为6.5毫米，但弹药却并不通用。而在随后全面爆发的中日战争中，由于在调查缴获自中国军队的ZB-26轻机枪时偶然间发现该枪的弹膛内部存在细微的锥度变化设计，于是立即对九六式施加了类似的改进，结果更改设计之后生产的九六式轻机枪便很少再发生弹壳断裂故障了。于是再为轻机枪配备专门的减装弹便失去了继续存在的意义，“三八式実包減装弾”的生产亦随之终止。
96式轻机枪的弹匣快速装弹器，注意快速装弹器上配有油壶，可在装弹过程中为子弹预涂油。事实证明重新恢复与三八式步枪在弹药方面的通用性，对于主要作为分队（步兵班）支援火力的该枪而言具有非常重要的意义—后勤部门无须再为轻机枪开辟一条专门的后勤补给体系，大大提升了弹药的补给效率。步兵分队内部亦可以互相分享弹药，在必要情况下可使用专门的插弹器将步兵的三八式步枪的“三八式普通実包”5发弹夹直接快速压入弹匣供轻机枪使用。
96式轻机枪在列装之后迅速取代了大正十一年式轻机枪的地位，不过由于产能问题一直无法做到完全换装。按照编制计划九六式轻机枪配发部队后，每一个小队（步兵排）所辖的4个分队之中，有3个分队（步兵班）是装备一挺九六式轻机枪作为支援火力的轻机枪分队，另有一个分队是装备了2~3门掷弹筒的掷弹筒分队。不过，并不是所有部队都能做到齐装满员，其中不足的部分通常由大正十一年式轻机枪暂时顶替。可即便是如此，轻机枪的数量依然不足，因此有一些小队采用了2个轻机枪分队加2个掷弹筒分队的缩水编制。更有甚者，由于掷弹筒数量也不甚充足，因此在诺门坎事件前后，甚至还有一些小队只有1个掷弹筒分队和2个轻机枪分队，另外一个分队则由一个轻机枪和掷弹筒皆无的步枪分队顶替。
虽然96式轻机枪在研制过程中参考借鉴了ZB-26轻机枪的设计，但与采用枪机偏移式闭锁的ZB-26在内部结构上存在明显差异，并不算是ZB-26的简单复制品。
九六式轻机枪在顺利解决了抽壳不良等故障之后，以其较高的可靠性和精准的射击命中精度迅速获得了前线官兵的极大信任，在口径升格为7.7毫米的九九式轻机枪研制完成之后，依旧继续保持着大批量生产的状态，至1943年停产为止共计生产了约41,000挺。因此几乎在太平洋战场的每一个角度都可以发现到该枪的身影。