胡太后失去和士开，寂寞无聊起来，但她天性淫荡，怎么肯就此歇手？一个偶然的机会，她又与寺院里的和尚勾搭起来。事情被齐主得知后，高纬先杀掉和尚，然后令宦官邓长顒率领众阉把胡太后迁到北宫，将她幽禁起来了。

    陆令萱趁这个机会，竟想代做太后，忙与祖珽商量。结果两人相互吹捧，成就了祖珽，晋升为左仆射，陆氏依旧是个女侍中。

    祖珽的势力一天比一天强盛，朝野为之侧目。只有太傅咸阳王斛律光每次看到祖珽在朝，便远远地骂道：“阴毒小人，不知今天他又要玩什么花招了！”又召集各将领，对他们说：“边境消息、兵马处分这些事，从前赵彦深在朝时，经常与我们商议后才做决断。如今盲人入朝执掌机密，却不与我们商议，我担心国家大事终究会被他耽误呀！”各将领都叹息不已。祖珽也知道斛律光恨自己，于是贿赂斛律光的奴仆，想知道斛律光有没有在背后讥讽他，奴仆回答说：“王爷每天晚上抱膝闷坐，常常自叹道，盲人入朝，国必危亡。”祖珽听了这话，愤恨不已。陆令萱的儿子开府穆提婆想娶斛律光的女儿为妻，斛律光不肯。齐主想将晋阳田赏给穆提婆，斛律光又谏阻道：“这田地自神武帝高欢时代开始，每年都用来种植饲养马匹的草料，以防止外寇的入侵。如果将此田赐给穆提婆，那不是妨碍军务吗？”齐主于是打消了这个念头。穆提婆从此怨恨斛律光，与祖珽一样想伺机除掉斛律光。

    斛律光的女儿斛律氏是齐主高纬的皇后，温良贤淑；弟弟斛律羨是幽州刺史兼任尚书令，因善于治兵，被突厥敬称为南可汗；大儿子斛律武都是开府仪同三司，兼任梁、兖二州刺史，并娶高洋的女儿义宁公主为妻。斛律光的父亲斛律金在世时，曾对斛律光说：“我虽然没有读过书，但也知道自古以来，没有几户外戚能撑到最后。如果你女儿得宠，不仅她会遭到宫中贵人的嫉恨，我们也会遭到朝中贵人的妒忌；如果你女儿没有得宠，不仅我们，连她也可能遭到天子的憎恶。我们家因忠勤而富贵，绝对不能仗着有个在宫中做皇后的女儿而骄恣。我本不愿意让你的女儿入宫，无奈怎么推辞，先帝都不答应。我真担心以后会发生什么变端！”斛律金年老去世，斛律光谨遵父训，节俭持身，忠诚事主，不好声色，不贪权势，杜绝馈赠，罕见宾客。每当朝廷有事商议，他总是先听取别人的意见，最后一个发言，一旦发言则总是有理有据。有时遇到需要上奏的事，他便请人代为执笔起草，自己在一旁口授，概从朴实。行军之道他也仿效父亲，营舍还没扎好，将士还没有安定下来，他绝不会先进入自己的军帐休息；在营不脱甲冑，临阵身先士卒；士卒犯错，他便用棍杖责罚，绝不会滥杀，因此将士都乐意为他效力。洛阳一役，他被封为右丞相，兼任并州刺史。随后，他屡次与段韶出兵攻打北周，击败北周勋州刺史韦孝宽于汾北。段韶也攻取北周的定阳。但齐主高纬宠任奸侫，恣意玩乐，不愿意用兵，于是召回斛律光、段韶两军。段韶还没回到京都，便病故在军中。段韶是神武皇后娄氏的外甥，跟斛律光一样是个将相之才，有勇有谋，只是比较好色，所以当时世人推崇斛律光甚于段韶。后来，北齐的其他旧臣陆续谢世。斛律光岿然独存，成为北齐的柱石。北周不敢越境生事，斛律光也不曾自夸功绩。

    只是北周的勋州刺史韦孝宽被打败后，一直想报复斛律光，于是他特意制造谣言，派奸细把谣言传入邺中。祖珽随即利用谣言煽风点火，对齐主说：“斛律氏世代掌管兵权，名声威震关西和突厥。斛律光的女儿是当今的皇后，大儿子又娶公主为妻，很难保证他没有野心。还请陛下早作打算！”齐主半信半疑，犹豫不决。

    不久，齐主又接到一封来自丞相府的密函，上面说：“斛律光奉诏率兵西归，原本打算逼陛下禅位，但没有成功。听说他家里私藏着大量兵器和铠甲，私蓄数千名奴仆，并且常派使者去斛律武都那里，阴谋往来。还请陛下早日下手，以防不测。”高纬看完密函，对宠臣何洪珍说：“我常怀疑斛律光想要谋反，没想到竟真让我猜对了！”说完，便让何洪珍向祖珽问计。祖珽说：“这有什么难的！就请陛下赐斛律光一匹骏马，跟他说明天陛下游幸东山，让他乘这匹马同行。斛律光一定会入朝拜谢。那时，只需要两三名壮士，便可捕杀他。”何洪珍回宫禀报齐主，齐主高纬照计施行。斛律光果然中计，单骑入朝拜谢。走到凉风堂，下马步行，突然有人从背后猛扑过来，斛律光几乎被扑倒。稳住重心，回头一看，只见刘桃枝怒目而立，斛律光当即呵斥道：“桃枝你怎么能做这种事？我没有对不起国家！”刘桃枝不回答，又招集三名力士，把斛律光扑倒，用弓弦卡住他的脖颈，把他扼死，颈血溅地，历久犹存。

    齐主当即下诏，诬陷斛律光谋反，派禁军到斛律光的宅第抓捕斛律光的儿子斛律世雄、斛律恒伽，勒令他们自尽。只有斛律光的小儿子斛律钟因年幼，幸免于难。祖珽派郎官邢祖信收检斛律光的家产。邢祖信报告祖珽说：“只搜到十五张弓，一百支箭，七把刀，御赐的两柄槊。”祖珽厉声问道：“没有别的东西了吗？”邢祖信朗声道：“还有二十束枣杖，听说是用来惩罚犯错的家奴的！”祖珽不觉有些惭愧，低声对邢祖信说：“朝廷已经重惩斛律光，你犯不着代他昭雪。”邢祖信慷慨而悲怆地说：“我是疼惜国家又少了一员良相呀！”说完便退了出去。旁人怪他太耿直，邢祖信却说：“连贤相都死了，我的余生还有什么好可惜的！”

    齐主又派使者去梁州杀斛律光的大儿子斛律武都，随后令中领军贺拔伏恩去杀斛律羨。贺拔伏恩抵达幽州，还没入城，门吏便赶去通报斛律羨说：“来使一身戎装，马身上有汗水，恐怕要对将军不利，还请将军下令，将他们拒之门外！”斛律羨训斥道：“我们怎么能怀疑朝廷派来的使者呢？”随即出城迎接贺拔伏恩。贺拔伏恩宣读完诏书，便令人将斛律羨拿下，就地处决。斛律羨临刑叹息道：“女儿是皇后，公主嫁入家，我家富贵到这个地步，这个昏恶的天下怎能容纳得下呀？”随即从容受刑，五个儿子都被杀死。贺拔伏恩回京复命，除了陆令萱母子以及祖珽的奸党，朝野上下没有一个人不为其称冤。

    北周将军韦孝宽得到消息，欣喜若狂，庆幸自己的计谋得逞，他急忙报知周主宇文邕。周主也喜出望外，当即颁诏大赦天下，举朝庆贺。满朝文武相互告慰说：“斛律氏一死，北齐唾手可得了！”

    齐主高纬的皇后斛律氏因相貌平庸，没有得到齐主的恩宠，于是被废黜，迁居别的宫寝。胡太后自愧失德，为了取悦齐主，特意将兄长的女儿召入宫，让她魅惑齐主。齐主高纬是登徒子一类的人物，他一看胡氏美艳，自然被迷住，当即册封胡氏为昭仪。胡氏又是好言相劝，又是委婉责备，没过多久，胡太后便被齐主从北宫请回来，悉心奉养。此时，弘德夫人穆舍利已为齐主生下一个小皇子，名叫高恒，齐主册立他为皇太子。斛律氏被废黜后，按说皇后的位置应该由穆氏替补，偏偏中间又加进一个胡昭仪。经过一番争斗，齐主册立穆氏为右皇后，胡氏为左皇后。穆氏仍旧不满意，又让义母陆令萱想办法。陆令萱因册立皇后一事，已与胡太后结为姐妹，于是她便在胡太后面前诋毁胡皇后，挑拨她们姑侄的感情。胡太后听信谗言，将侄女胡氏赶回家。自此，宫中就只剩一位穆皇后。

    周主宇文邕与突厥联合侵犯北齐，结果两次都以失败告终。太师宇文护由弘农退还，与各将领入朝请罪，周主宇文邕将他们全部赦免。第二年春季，北周改保定六年为天和元年，屡次派使者到突厥迎亲。突厥木杆可汗因北齐强盛，便派使者去北齐示好，想将女儿嫁到北齐，并扣留北周的使者。偏巧突厥遭遇将近一个月的暴风雨，大部分番民的帐篷被毁坏。木杆可汗以为是遭到了天谴，忙释放北周使者，将爱女嫁到北周。周主宇文邕亲自出城迎接，入宫后册立阿史那氏为皇后。皇后虽然出自番族，但相貌颇为端庄，宇文邕也优礼相待，二人相处得十分和睦。

    不久，宇文护的母亲阎氏病逝，宇文护暂时离职，回家守孝。不到数月，周主又任用他，让他入朝监国。天和五年，周主宇文邕下诏，加赐宇文护殊礼。宇文护自恃功高，久揽政权，大肆屯兵私邸，他的府邸威严程度甚至超过宫阙。他的儿子、僚属又倚仗他的势力在外横行霸道，胡作非为。周主宇文邕对此不加干预，一群王公大臣猜不透北周主的意思，大都屡进屡退，虚与周旋。

    天和七年三月初，发生日食，宇文护召问稍伯大夫庾季才说：“近日天象怎么样？”庾季才说：“还请王爷听后不要生气。近日天象告变，王爷最好将大权归还天子，而后告老还乡，享受天伦之乐。这样，王爷的子子孙孙就能常做藩王，享受你的恩泽。否则后面的变化，就不是我所能知道的了！”宇文护沉吟半天，才轻轻呼出一口气说：“我也这么认为，但眼下不是说走就走得了的。要不然，我也不会蹉跎到今天。千万记住，你今天说的这些话，不要告诉别人。”庾季才这才知道宇文护十分介意，当即唯唯而去。随后又致信宇文护，极为诚恳地劝谏他，但宇文护怎么听得进去？然而不待宇文护发作，周主宇文邕已经与朝臣密谋妥当，准备先下手为强。

    宇文护出巡同州，回京复命，周主宇文邕当面将他慰劳一番。宇文护恳请拜见叱奴太后，周主当即应允。而就在宇文护拜见叱奴太后的时候，周主瞅准时机，猛击宇文护的头部。宇文护没有防备，被击倒在地。周主当即向宦官何泉使眼色，何泉拿着御刀手颤不已，一刀下去，却没有砍伤宇文护。这时，埋伏在隔壁的卫公宇文直一跃而入，手起剑落，把宇文护劈成两段。叱奴太后吓得惊慌失措，周主宇文邕忙婉言安抚她，说：“宇文护想谋害太后和儿臣，所以儿臣决意诱杀他。”太后听后，没有异议。宇文邕当即召入宫伯长孙览，让他捕杀宇文护的世子宇文训、昌城公宇文深、谭公宇文会、莒公宇文至等人以及宇文护的党羽柱国侯龙恩、膳部下大夫李安等人。

    除掉宇文护及其党羽，周主宇文邕当即颁诏，细数宇文护的罪状，赦免罪状较轻的党徒，并改天和七年为建德元年。