并州，地处东汉北疆，北邻匈奴、鲜卑等游牧部族，常年受边患侵扰，民风剽悍尚武，是东汉王朝重要的骑兵兵源地。并州军团的雏形，形成于并州刺史丁原任内。
中平五年（188年），丁原出任并州刺史，面对北疆游牧部族的袭扰，他整饬地方武装，招募骁勇之士，组建了一支以骑兵为主的边军部队。并州西河郡为东汉核心养马地，为这支骑兵部队提供了优质边郡良马，成为其战力根基。
丁原识人善用，提拔了一批本土勇武之才，任命吕布为主簿，虽为文职，却因吕布骁勇而深为倚重，将其视为心腹；征召张辽为从事，委以领兵之责；此外，还吸纳了张杨等并州豪强，扩充军力。
这支早期的并州边军，长期与游牧部族作战，骑兵战术娴熟，战斗力强悍，成为汉末北方不可忽视的军事力量。中平六年（189年），汉灵帝驾崩，大将军何进为诛杀宦官，征召四方诸侯入京，丁原率并州军团赶赴洛阳，这支部队自此脱离边陲，卷入中原的权力漩涡。
丁原入京后不久，被任命为执金吾，驻守洛阳。但此时朝堂局势骤变，何进被宦官诛杀，董卓率凉州军团入京把持朝政。董卓觊觎并州军团的战力，遂以“金珠宝马”利诱吕布，吕布最终斩杀丁原，率并州部众归降董卓。
董卓掌权后，将并州军团与凉州军团整合，组成并凉联军，成为其掌控朝政的军事支柱。但两部派系隔阂颇深，凉州军是董卓的嫡系旧部，多为关西豪强与羌胡勇士，并州军则是外来归附势力，吕布虽被董卓任命为中郎将，封都亭侯，却始终未能融入凉州军核心。
在此期间，并州军团的编制基本保留，张辽、成廉、魏越等将领仍追随吕布。初平三年（192年），吕布因与董卓婢女私通恐事泄、又屡遭董卓猜忌（曾被董卓掷手戟相向），再加上司徒王允的游说策反，最终联合王允诛杀董卓。
董卓被杀后，其部将李傕、郭汜在贾诩献计下，率凉州军余部反攻长安，吕布率部坚守八日，终因城中断粮、外无救援而不敌，最终率数百并州精锐突围东走，王允拒不突围被杀，长安落入凉州军之手，并州军团与凉州军彻底决裂，自此成为以吕布为领导的独立军事集团。
吕布率部突围后，先投奔袁术，因袁术不满其“反复无常”而被拒；后转投袁绍，助袁绍击败黑山军张燕——此战中，吕布“常与其亲近成廉、魏越等数十骑陷锋突陈，遂破燕军”（《英雄记》），并州骑兵的强悍战力展露无遗。
但袁绍忌惮吕布的勇武与野心，欲除之而后快，吕布被迫率部逃离冀州。在河内期间，吕布吸纳了张杨的部分并州旧部，又收编了李肃、薛兰等流亡将领，以并州旧部为核心，兵力恢复至五千人。
兴平元年（194年），曹操东征陶谦，兖州空虚，陈宫、张邈等兖州豪强因不满曹操“诛杀边让等名士”，派人前往河内迎吕布入主，除鄄城、范县、东阿三城被荀彧、程昱坚守外，兖州其余郡县旬月之间尽数归附，并州军团与兖州地方势力合流，成为曹操统一中原的核心劲敌。
吕布先在濮阳之战中大破曹军，曹操突围时被烧伤左手险些被俘，双方相持百余日后，因兖州蝗灾肆虐、粮草断绝被迫罢兵；兴平二年（195年），曹操攻打驻守钜野的薛兰、李封，吕布率援军驰援却拒纳良策、轻率冒进，遭曹军主力反击大败，薛兰、李封战死，钜野失守。
此后曹操乘胜追击，吕布在兖州的据点接连陷落，最终率残部万余人逃离兖州，投奔徐州牧刘备，被刘备安置于小沛，吕布也自此彻底失去首个立足之地。
建安元年（196年），吕布趁刘备率军征讨袁术、张飞留守下邳之机，联合陶谦旧部曹豹里应外合夺取徐州，俘虏刘备妻小，成为徐州实际掌控者。其并州军团收编徐州降将后兵力扩充至两万五千人，迎来势力顶峰。
期间吕布曾以“辕门射戟”逼退袁术大将纪灵的三万大军，暂时化解徐州危机，却因行事反复无常陷入外交孤立：先应允与袁术联姻，后听陈珪、陈登父子劝谏悔婚，将袁术使者韩胤押往许都斩首，彻底与袁术交恶。
吕布又因忌惮刘备在小沛势力复振，派高顺、张辽突袭小沛击败刘备，曹操派夏侯惇驰援，也被高顺击溃且左眼被流矢射伤，吕布就此与曹、刘两大势力结怨。
集团内部矛盾也在此期间持续激化，建安元年（196年），郝萌受袁术引诱发动叛乱，高顺仅凭叛军的河内口音精准判断叛首，迅速整军平叛、斩杀郝萌；郝萌部将曹性因平叛有功，向吕布揭发陈宫参与谋叛，吕布虽未深究，却自此对麾下诸将心生猜忌，甚至剥夺忠臣高顺的陷阵营兵权，转交给姻亲魏续，仅在作战时临时交还，寒了麾下将士之心。
建安三年（198年），曹操平定张绣、袁术后率大军东征吕布，吕布令侯成、高顺、张辽、自己分守彭城、小沛、下邳，欲形成联防之势，却被曹军迅速突破彭城，三城联防瓦解，只得收缩兵力困守下邳。曹军随即采纳郭嘉、荀攸之计，引沂、泗二水灌城（《三国志·吕布传》），城内粮草断绝，军心涣散。
侯成曾追回被部下偷走的十五匹马，诸将前来祝贺，他酿了酒、猎了猪，因吕布此前下令禁酒，便先献酒肉请示，却遭吕布怒斥：“布禁酒，卿酿酒，诸将共饮食作兄弟，共谋杀布邪？”（《英雄记》），侯成大惧，自此心生叛意，联合魏续、宋宪夺取高顺兵权、绑缚陈宫，打开下邳城门投降曹操。吕布率残部退守白门楼后被俘，最终被曹操缢杀，高顺、陈宫拒不投降遇害，张辽率并州军团余部归降曹操，并州军团就此瓦解。
张辽归降后，其麾下的并州骑兵被编入曹军，成为曹操麾下的精锐力量，张辽也凭借此部战力，创下“威震逍遥津”的战功；而魏续、侯成等叛将虽投降曹操，却因缺乏战功与声望，最终湮没于历史；其余部众或四散逃亡，或被收编。
“铁骑虽勇，难抵君昏”，这支脱胎于并州边军的铁骑部队，历经十余年沉浮，最终彻底消散于汉末的乱世之中，只留下一段关于勇力与遗憾、忠诚与背叛的历史悲歌。