当时，邓当的一个手下将官，见吕蒙年幼跟随邓当，很轻视他，对外说：“吕蒙那小子有什么能耐？这是想拿肉喂虎而已。”后来，又当面耻笑羞辱吕蒙。吕蒙大怒，举刀而杀之，逃到同乡郑长家中。后通过校尉袁雄出来自首，袁雄为吕蒙从中说情，并将他推荐给主公孙策。孙策见吕蒙年纪虽小，武艺确有过人之处，便把他安排在身边作事。几年后，邓当去世，孙策授意张昭推荐吕蒙接替邓当职务，就任别部司马。

建安五年，孙策遇刺身亡，孙权接掌了江东的大权，上任后想把那些统兵较少又发挥不了多少作用的年轻将领检选出来，把他们的部下加以调整合并。吕蒙听说后，知道部队合并后，自己想有所作为，就更困难了。于是，他想办法赊来物品，为部下赶制了绛色的服装和绑腿，并加紧操练阵法。孙权检阅时，吕蒙兵马“陈列赫然，兵人练习”，孙权见后大悦，认为他治军有方。不但没有削减其部，反而增加了他的兵员，从此恩遇日隆。

孙权见吕蒙年少却能练兵，遂谓吕蒙曰：“卿今当涂掌事，不可不学！”蒙辞以军中多务。权曰：“孤岂欲卿治经为博士邪！但当涉猎，见往事耳。 卿言多务，孰若孤？孤常读书，自以为大有所益。”蒙乃始就学。及鲁肃过寻阳，与蒙论议，大惊曰：“卿今者才略，非复吴下阿蒙！”蒙曰：“士别三日，即更刮目相待，大兄何见事之晚乎！”肃遂拜蒙母，结友而别。

此一段名为孙权劝学，吕蒙后来也报了孙权知遇之恩。正史中，吕蒙先随孙权讨伐黄祖，击破黄祖水军之时，获悉丹阳、豫章、庐陵三郡的山越起事作乱。孙权遂引军返回平乱，吕蒙随军征讨。吕蒙与别部司马黄盖、韩当、周泰等率兵镇守险要，各自以武力平定了本地区起事的山越族人。吕蒙因功被任命为平北都尉，兼任广德长。

建安十三年，孙权采纳将军甘宁建议，发兵进攻夏口，吕蒙随军出征。江夏郡太守黄祖下令用蒙冲战舰封锁沔口，用大棕绳系巨石为锥以固定舰位，上有千余人用弓弩交射，封锁江面，吴军进攻受阻。孙权命偏将军董袭、司马凌统各率百人敢死队，身穿重铠，乘大船冲抵蒙冲舰旁，董袭挥刀砍断棕绳，战舰顺水飘流，孙权军遂溯流而进。黄祖见孙权兵来，急派水军都督陈就率兵反击，吕蒙统率前锋部队，身先战阵，一刀将陈就斩落长江。孙权军乘胜水陆并进，包围夏口城。孙权督军猛攻，克其城，并屠之。黄祖只身逃窜，被小将冯则追斩。此战，孙权大获全胜，一举歼灭宿敌黄祖，占领江夏地区。战后论功，孙权言道：“此战功成，俱赖先斩陈就。”遂提拔吕蒙为横野中郎将，并赐钱千万。

建安十三年十月，吕蒙跟随周瑜、程普，在赤壁大破曹操，曹操引败军北归，留曹仁等驻守江陵。孙权命周瑜、程普统兵数万，与曹仁隔江相持。相持不久，周瑜欲夺取江陵，先派甘宁袭取上游的夷陵城，意图对江陵形成侧背威胁。于是，曹仁分兵围攻甘宁，欲夺回夷陵。甘宁向周瑜求援，诸将担心兵少，如救援夷陵，则造成江陵空虚。吕蒙对周瑜、程普说道：“留下凌公绩，我与您一道，前去救急解围，按情势不会要太多的时间，我保证凌公绩能固守十天。”接着又献策，劝周瑜派三百人用木柴把本来险峻的山路截断，当敌人逃跑时，我方就可获得他们的马匹。周瑜采纳了他的建议，亲率主力驰援夷陵，大破曹军于夷陵城下，所杀过半。曹军乘夜逃走，途经木柴堵塞的险路，无奈，骑马者皆弃马徒行。周瑜、吕蒙驱兵追赶截击，获得战马三百匹，以致军威大振。随即回师渡江，进军北岸，构筑营垒，向江陵发起进攻。此时，孙权为策应周瑜攻势，派兵包围合肥。曹仁由于孤军无援，在近一年的交战中屡战失利，损失惨重，遂被迫放弃江陵城，退往襄阳。周瑜占领江陵，被孙权任命为南郡太守，控制了长江中游地带。吕蒙再度因功迁为偏将军，兼任寻阳令。

周瑜病死，鲁肃接任。鲁肃到陆口，途经吕蒙驻地。鲁肃为一代儒将，认为吕蒙是武夫出身，有些轻视他。孙权对鲁肃说道：“吕将军功名日益显赫，不能用老眼光看待他，您应当去拜访他。”于是鲁肃孤身一人，到大营拜访吕蒙，吕蒙设酒相待。酒到酣处，吕蒙问鲁肃道：“您受重任，与关羽邻接，将要采取何种策略，以防止意想不到的事情发生呢？”鲁肃仓猝回答说：“临时看情况办。”吕蒙说：“现在孙、刘虽然是一家，但关羽实在是个如熊虎一样的将领，怎么不预定计谋呢？”于是，吕蒙详尽地分析当时的利害。鲁肃闻后大惊，越席而起，靠近吕蒙，亲切地拍着他的背，赞叹道：“吕子明啊，我真没想到您的才能谋略竟达到了如此程度。”还说：“以你如今的才略，已经不再是吴下阿蒙了！”吕蒙说：“士别三日，即更刮目相待，兄长知道这件事太晚了啊！”从此，二人结为好友，过从甚密。

建安十八年正月，曹操亲率十万大军进攻孙权，进至濡须口，攻破孙权军江西营寨，生擒都督公孙阳。吕蒙随孙权统领七万部众抗御曹操，多次献奇计，劝孙权在夹水口建立船坞，防范敌兵，精到细密。后曹操遥望孙权的军队，见阵容威严，布防严密，慨叹说：“生子当如孙仲谋。”遂不敢轻易冒进。适值长江春讯将至，孙权写信劝曹操尽速撤兵，曹操也审时度势，主动撤军而回。