平兰、成之后，曹操派张辽与乐进、李典等率兵七千人屯合肥，以备孙权。
建安二十年（215），曹操讨汉中张鲁。临行，与合肥护军薛悌一函，封面上署曰：“待贼至乃发。”果然不久，孙权率大军十万围攻合肥。诸将共开函，见其内书曰：“若孙权至者，张、李将军出战，乐将军守，护军勿得与战。”诸将议之，多认为寡不敌众，不欲出兵。独张辽坚决主战，曰：“公（曹操）远征在外，比救至，彼破我必也。是以教指及其未合逆击之，折其盛势，以安众心，然后可守也。成败之机，在此一战！诸君若疑，辽将独决之。”乐进、李典平时与张辽矛盾甚大，此时也深为之感动，李典当即表示要不计前嫌，与辽一起出战（《资治通鉴》卷六十七）。
于是，张辽连夜招募组织敢死之士八百人，“椎牛飨将士”。次日晨，张辽披甲持戟，率战士先登陷陈，杀数十人，斩二将军。大呼自名，冲入敌营，直到孙权麾下。权大惊，其部众皆惶然不知所为。权与左右逃至一高坡上，以长戟自守。张辽追至，叱其下战，权不敢动。后见张辽兵少，方令吴军攻之。张辽被围数重，急击之，率数十人突出包围，但部下在围中者大呼：“将军弃我乎？”张辽又复返，救出余众。敌军皆为之震慑，无敢当者。两军从早上战至中午，吴军夺气，辽还修城防，众心乃安。诸将于是皆佩服张辽之胆识。