臧霸之父臧戒曾为县狱掾，因据守律法，不听从太守凭欲私杀狱犯。太守大怒，令人收押臧戒。时年十八的臧霸获悉父亲被押囚，孤身前往费县西山将父亲救出，并杀死太守，时押送役卒百余人，惧臧霸健勇皆避而窜逃。此后臧霸与父亲逃亡东海郡，四海漂流，不过经此事迹，臧霸的孝烈勇名遍闻乡野。

黄巾起义时，臧霸从属陶谦，击破贼众，战功显赫，被拜为骑都尉。后来臧霸收兵于徐州，与孙观、吴敦、尹礼等聚合军众，臧霸为统帅，屯于开阳一带，自成一方霸主。

公元一百九十七年（建安二年），臧霸到莒县去袭击琅邪国相萧建，攻陷莒县，得到萧建的辎重。臧霸曾答应送给吕布一部分，但没有送到，吕布就亲自前去索取。吕布的部将高顺劝阻吕布说：“将军威名远扬，远近畏惧，想要什么会要不到，何必自己去索取财物！万一不成，岂不损害威名吗！”吕布不听。吕布到莒县后，臧霸等不知吕布的来意，与吕布单挑，两人大战上百合，臧霸体力不支，遂坚守城池，抵御吕布，吕布空手而归。

曹操讨伐吕布时，臧霸等曾带兵往助吕布。吕布被擒后，臧霸隐身匿藏，然而曹操点名搜索，寻得臧霸，一见之下大悦，便使臧霸招降吴敦、尹礼、孙观、孙观之兄孙康等，往见曹操。曹操以臧霸为琅邪相，又任用吴敦等，割青、徐二州委任于臧霸。

当初曹操在兖州时，以徐翕、毛晖二人为将。兖州乱起，徐、毛二人皆叛。后来兖州之乱平定后，徐、毛亡命出逃投靠臧霸。

曹操命刘备往见臧霸，并命臧霸奉上二人首级。臧霸便向刘备说：“以前我之所以能自立一方，是因为我不会做这种事。我受曹公的存命之恩，不敢违其命令。不过有意于王霸之道的君主应该以义相告，不宜威迫，愿将军为我辞却这个命令。”刘备便以臧霸所言告诉曹操，曹操叹息地向臧霸道：“这是古人仁德之事，而你能够加以奉行，这也正是孤之所愿。”于是皆以徐、毛二人为郡守。