当时的形势，回答道：“凭着明公威信著于四海，我张辽拿着圣旨，昌豨必然不敢害我。所以我才这么做。”[36]通过张辽的成功劝降[37]，东海郡在此后保持了长达5年的平静。此时，黄河以北的袁氏势力依然强大。直到5年之后，曹操平定了冀州并打垮了袁氏，统治东海郡的昌豨才再次发起叛乱。[38-39]从攻袁氏建安七年（202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。[40]建安八年（203年），曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下。因此曹操采纳郭嘉之计让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。[41]建安九年（204年）二月，袁尚再次攻打袁谭[150]，张辽再次跟从曹操攻打邺城。[41]袁尚回军救援邺城，被曹操所破。袁谭趁机夺取了原属袁尚的冀州东部。
建安九年（204年）八月[151]，邺城被攻破后，张辽独领一军向北攻占赵国、常山二郡（“徇”的含义是攻占[157-159]），曹操亲率主力向东攻打袁谭。张辽招降了那些靠近太行山边缘的诸多贼众及黑山军的孙轻等，此后，张辽跟从曹操攻击袁谭。[42]建安十年（205年），袁谭败亡后，张辽独领一军攻占沿海数郡的海滨地带，攻破辽东军阀公孙度所置的营州刺史柳毅。[43]又与长广太守何夔合兵平定了矣平的从钱等人[44]。建安十一年（206年）[156]，收复东莱郡诸县后的张辽引军还邺城。曹操亲自出城迎接，邀请张辽同乘一辆车，并任命张辽为荡寇将军。[43]张辽再次独领一军攻打荆州，平定江夏诸县，引军还，屯兵在临颍县，受封为都亭侯。