看守自己的王伯当对翟让说：“隋炀帝昏庸无道，攻打高句丽损兵折将，撇下洛阳长安巡视江南，百姓怨声载道，又和突厥断绝了友好关系，眼下正是像刘邦、项羽那样争夺天下的良机。凭您的雄才大略，精兵强将，夺取洛阳长安，灭亡隋朝绰绰有余。”翟让听后大为赞赏，立即释放了他，让他辅佐自己。
在李密的谋划下，翟让攻克了金堤关和荥阳等城镇。隋将张须陀带兵讨伐翟让，翟让曾被张须陀打败过，听说他来了，极为害怕，准备远遁。李密说：“张须陀勇而无谋，他的队伍又打了几次胜仗，骄狂轻敌，一仗就能捉住他。您只管摆开阵势，我来替您打败他。”翟让迫不得已，统领军队御敌，李密分出一千多名士卒埋伏在树林里。翟让开战不利，边打边退，李密派出伏兵到敌后袭击，张须陀的士兵逃散，李密和翟让前后夹攻，大败隋军，张须陀也被斩杀。从此以后，翟让让李密单独统率一支队伍。李密的队伍军容整肃，纪律严明，他本人衣食节俭，得到的金银财宝全都分发给部下，因此人人愿意替他卖命。
后来，李密和翟让趁中原闹饥荒，率军攻克了兴洛仓，开仓赈民，百姓扶老携幼前来取粮，军队迅速壮大到三十万人。翟让推举李密当首领，称作魏公，以洛口为都城，大军在环绕洛口四十里的区域里驻扎下来。李密授予翟让司徒官衔，封为东郡公。任命单雄信为左武侯大将军，徐世勣为右武侯大将军，其余的人各按等级授予官职。