雍正八年五月初四（1730年6月18日），康熙第十三子怡亲王胤祥病重去世，胤祥的四哥清世宗雍正皇帝得知他去世的消息后悲痛万分，雍正甚至悲痛的哭出了血泪，雍正特意把擦拭血泪的手帕命人放进胤祥的棺材中，表示让自己的血泪陪葬胤祥于九泉之下。
胤祥去世后，雍正特意下旨让胤祥不用像其他兄弟一样避讳他的名字，本来雍正其他的兄弟在他继位后都为了避讳他的名字改为“允”字辈，只有胤祥能不避讳雍正的名字以本名下葬，胤祥也是清朝历史上唯一不用避讳皇帝名字的大臣。
同时，雍正还特意让胤祥生前最喜爱的嫡子第七子弘晓继承了怡亲王爵位，并封胤祥另一个嫡子第四子弘晈为宁郡王。
清朝的爵位承袭制度是世袭递降，胤祥去世后他的儿子弘晓本应承袭郡王爵位，每承袭一辈就要递降一级，始封亲王爵位最后直到递降至奉恩镇国公为止。
而雍正允许弘晓和弘晈两家都享受世袭罔替待遇，即子孙后代不用递降袭爵，这在清朝谓之为铁帽子王。
清朝的铁帽子王爵位在雍正之前共有八家，都是清初开国时期立下赫赫战功皇室宗亲，胤祥家族算是第九位获得铁帽子王待遇的亲王，而且也是清朝历史上第一位没有战功以恩封获得铁帽子王待遇的亲王。
而且雍正同时给予胤祥两个儿子都加封了铁帽子王，这在清朝历史上是绝无仅有的事情。由此可见雍正对胤祥的兄弟感情有多么深厚，所以后世称雍正与胤祥的兄弟之情为“棠棣情深”。
雍正在册封胤祥家族的圣旨中曾明确称：吾弟（指胤祥）之子弘晓，著袭封怡亲王，世世相承，永远弗替。凡朕加于吾弟之恩典，后代子孙不得任意稍减
也就是说雍正在册封圣旨中曾明确交代，凡是他给予胤祥家族的恩封，后世子孙任何人不能剥夺。
不过雍正的儿子乾隆皇帝并不管这一套，胤祥第四子弘晈的宁郡王世袭罔替待遇，在乾隆时期就因为弘晈卷入了康熙的废太子胤礽长子弘晳逆案中被废除了世袭罔替待遇。
但是，弘晈毕竟是与弘皙交往过密有威胁到乾隆皇权的态势，被废除世袭罔替待遇倒也说得过去。可是到了咸丰皇帝去世后，他的小老婆慈禧太后居然也敢公然违背雍正圣旨，废除了弘晓后人的怡亲王爵位，这又是为什么呢？
其实胤祥家族自乾隆继位后就比较受到猜忌，当初弘晈牵扯进弘晳逆案后，弘晈被乾隆严厉斥责，并剥夺了世袭罔替宁郡王的待遇，从此弘晈一直在家闭门谢客。
而弘晓眼看哥哥弘晈受到乾隆严惩，弘晓也开始低调内敛，几乎整日在家读书写作和养花种草自娱自乐，很少参与政务。
弘晓曾与《红楼梦》作者曹雪芹结为莫逆之交，替曹雪芹抄录过《红楼梦》手稿，但是乾隆时期文字狱极严，乾隆曾将《红楼梦》列为禁书，因此弘晓担心受到牵连，就亲手焚毁了《红楼梦》手稿。
此后弘晓约束子孙后代不要过分参与政务，因此自弘晓去世后的历代怡亲王都十分低调内敛，大多碌碌无为，只过着富贵闲散的生活。
但是到了道光和咸丰时期，胤祥的五世孙、弘晓的四世孙载垣改变了怡亲王家族的低调内敛且庸碌无为的局面。
载垣于道光时期承袭了怡亲王爵位，在咸丰继位后，由于大清日落西山，先是受到外国列强欺凌，随即国内又爆发了太平天国起义，可谓是内忧外患。
而载垣在国家内忧外患的情况下，开始展现自身才能，受到了咸丰皇帝器重和信任，被委以重任。载垣在清朝统治阶层中属于鹰派人物，即便当时大清已经日落西山，在道光时期对战英国就输了第一次鸦片战争，但载垣不惧欧洲列强，坚持要求清政府强硬对待欧洲人，不向欧洲列强妥协，主张先清外敌，再平内患。
因此载垣的强硬态度赢得了咸丰的赞赏，被咸丰大力提拔和重用。
咸丰六年（1856年），英国和法国在美国与俄罗斯的支持下入侵中国，随即第二次鸦片战争爆发。在第二次鸦片战争中，清朝自然是再次输给欧洲列强，清朝战败后只能向英法两国商议和谈，于是清朝就派使团在通州与英法联军举行和谈，史称通州议和。
当时载垣很受咸丰器重，因此被咸丰委任为清朝谈判使团代表，在通州谈判中载垣表现的态度十分强硬，他拒绝了英法两国提出的无理要求，拒绝在国家主权上让步，他的强硬态度也使得通州谈判彻底谈崩了。
在通州议和谈崩了之后，载垣盛怒之下命令军队囚禁了以英法谈判使团公使巴夏礼为首的谈判使团的39人。随即愤怒地载垣又下令虐杀了谈判使团中的21人，其中包括英国《泰晤士报》记者7人。
正所谓两国交战不斩来使，载垣这种囚禁并虐杀谈判使团成员的行为很不讲究，也引起了英法两国的愤怒。
咸丰十年（1860年），英法联军攻入北京，咸丰被吓得仓皇出逃到承德避暑山庄，英法联军攻陷北京后就开始洗劫京城，并焚毁了清朝的皇家园林圆明园。
很快跑到避暑山庄的咸丰听说京城沦陷，圆明园被毁的消息后，又惊又吓，没多久就在避暑山庄去世了。
咸丰临终前，遗命载垣和郑亲王端华、端华之弟肃顺、御前大臣景寿、军机大臣穆荫、匡源、杜翰、焦佑瀛八人为赞襄政务王大臣，命八人辅佐年仅6岁的皇子载淳即后来的同治帝继位。
但是咸丰还是担心日后出现像权臣鳌拜的现象，因此咸丰遗命八大臣辅政的同时，还要求八大臣所定国策必须由他的嫡妻慈安和同治生母慈禧两宫太后的凤章同时签盖才能生效，实际上咸丰就是想让慈安、慈禧与顾命八大臣互相监督互相牵制。
可是咸丰万万想不到他的小老婆慈禧权力欲极强，最初慈禧向载垣等人提出垂帘听政的想法，遭到了载垣的强烈反对，其他七位大臣也都认为后宫干政有违祖制，因此都反对慈禧垂帘听政。
由于顾命八大臣不同意慈安与慈禧垂帘听政，因此慈禧暗中联合慈安还有一直被咸丰打压的六弟恭亲王奕䜣发动了“辛酉政变”。
在“辛酉政变”中，慈禧命留守京城的奕䜣趁载垣等人护送咸丰的棺椁回京的机会将他们直接抓捕，随即慈禧将顾命八大臣全部治罪，顾命八大臣或被杀、或被赐死、或被罢官、或被流放发配，至此慈禧终于实现了垂帘听政的目的，也逐渐开始独揽朝政大权。
载垣的结局就是被赐死，慈禧给他公布的罪名是和谈不力，虐杀外国使团成员，导致英法联军攻陷京城焚毁圆明园，酿成了清朝建国以来的奇耻大辱，赐给载垣三尺白绫命其自尽，就这样晚清的鹰派王公贵族载垣就用三尺白绫结束了一生。
就算载垣自尽后，慈禧依旧对他不依不饶，慈禧不顾雍正的圣旨，以同治皇帝名义下旨宣布废除怡亲王家族世袭罔替的待遇，并废除怡亲王爵位。
就这样世袭罔替的怡亲王爵位被废除，而雍正当初许诺给胤祥家族的一切恩荣礼遇也全部被慈禧废除。慈禧如此违背雍正圣旨，擅自废除了胤祥家族的恩荣礼遇，也引起了清朝皇室成员的严重不满。
因此在同治三年（1864年）时，慈禧为了安抚皇室成员人心，她以弘晈的四世孙载敦参与平定太平天国起义为由，以同治名义下旨宣布恢复怡亲王爵位，由载敦承袭怡亲王爵位，并继续保留怡亲王爵位世袭罔替待遇。
于是怡亲王爵位就从弘晓的后人传承中转到了弘晈的后人传承，由于载敦是被慈禧一手提拔起来，因此载敦对慈禧是唯命是从，直到他去世后，由他的儿子溥静继承了怡亲王爵位。
溥静和载垣差不多，也是晚清鹰派人物，他主张对欧洲列强保持强硬态度，在光绪二十六年（1900年）时，溥静建议慈禧招募义和团对抗洋人，并主张慈禧对欧洲各国宣战，最终慈禧对欧洲11国宣战，继而发生了八国联军侵华事件。
八国联军侵华之后，很快攻入京城，慈禧又打不过，只能仓皇出逃西安，由于溥静极力支持义和团杀害洋人，所以八国联军对溥静恨之入骨，攻入京城之后，八国联军就立刻将怡亲王府洗劫一空，并将怡亲王府焚毁，胤祥努力打拼一生换来的怡亲王府就这样被八国联军焚毁。
最后慈禧惹不起八国联军，只能派洋务大臣李鸿章向欧洲列强媾和，而欧洲列强则要求议和的前提是慈禧必须严惩以怡亲王溥静为首的主战派王公大臣，就这样慈禧以光绪皇帝名义下旨褫夺溥静怡亲王爵位，将他终身囚禁于宗人府监狱中。
溥静被囚禁在宗人府监狱中眼看欧洲列强在中国横行无忌，心情十分抑郁悲愤，没多久就在监狱中抑郁悲愤去世。
不过这一次慈禧没做太绝，她虽然褫夺了溥静的怡亲王爵位，但是并没有废除怡亲王爵位，而是让溥静年仅2岁的侄子毓麒继承了怡亲王爵位，而毓麒一直以怡亲王身份陪着清朝灭亡，成了末代怡亲王。大概在1948年左右，毓麒去世，终年50岁左右，怡亲王家族至此彻底销声匿迹。
从胤祥到毓麒，怡亲王爵位共传承了八代人九位亲王，中途由于载垣的关系，怡亲王爵位一度被慈禧不顾雍正的圣旨废除，但最后慈禧还是迫于皇室压力恢复了怡亲王爵位，这才使得胤祥家族最终能陪着清朝一起走向灭亡。