曹操讨伐吕布时，臧霸等曾带兵往助吕布。吕布被擒后，臧霸隐身匿藏，然而曹操点名搜索，寻得臧霸，一见之下大悦，便使臧霸招降吴敦、尹礼、孙观、孙观之兄孙康等，往见曹操。曹操以臧霸为琅邪相，又任用吴敦等，割青、徐二州委任于臧霸。

当初曹操在兖州时，以徐翕、毛晖二人为将。兖州乱起，徐、毛二人皆叛。后来兖州之乱平定后，徐、毛亡命出逃投靠臧霸。

曹操命刘备往见臧霸，并命臧霸奉上二人首级。臧霸便向刘备说：“以前我之所以能自立一方，是因为我不会做这种事。我受曹公的存命之恩，不敢违其命令。不过有意于王霸之道的君主应该以义相告，不宜威迫，愿将军为我辞却这个命令。”刘备便以臧霸所言告诉曹操，曹操叹息地向臧霸道：“这是古人仁德之事，而你能够加以奉行，这也正是孤之所愿。”于是皆以徐、毛二人为郡守。

后来曹操与袁绍相拒，而臧霸数以精兵投入青州，所以曹操不用顾念东方之事，能专心应付袁绍。

曹操破袁谭于南皮，臧霸等前往祝贺。臧霸便求遣子弟及诸将之父兄家属前往邺城，曹操道：“诸位忠心报国，但何必要如此来表现呢。昔日萧何派遣子弟入侍，而汉高祖没有拒绝，耿纯焚烧自己的房子、马车追随，而光武帝没有辜负他的好意，现在我又怎么好改变前人的做法呢！”当时东州扰攘不止，而臧霸等执正匡义，征暴伐虐，清定海岱，其功莫大

，于是皆封列侯。臧霸因功拜为都亭侯，加威虏将军。

公元二百零六年（建安十一年），臧霸与于禁讨昌豨于东海，昌豨降，为于禁引用法令所诛。

公元二百零七年（建安十二年），臧霸与夏侯渊讨黄巾余贼徐和等，再算上前讨昌豨之功劳，迁为徐州刺史。沛国人武周时为下邳令，臧霸敬异武周，常到其舍作客。后来武周部从事总詷不法，武周得其罪，被收监查究，但臧霸却不嫌弃武周，反而更加亲善。

公元二百零九年（建安十四年），张辽围剿陈兰时，臧霸与于禁征讨梅成，因于禁中伪降计，梅成得以率其三千余兵与陈兰汇合于灊山。于是臧霸被曹操调到皖，讨伐孙权大将韩当，使孙权不得前救陈兰。韩当派兵阻拦臧霸，双方在逢龙展开战斗，韩当另外派兵在夹石口迎击臧霸，均被臧霸击破，臧霸回军屯驻舒城。孙权遣数万人乘船屯于舒口，分兵往救陈兰，但闻知臧霸军在舒城时，立即遁还。臧霸引军乘夜追赶，将及天明，行百余里，向孙权军前后夹击。孙权军窘急不堪，不得上船，蹈水而逃者甚众。于是孙权军未能援助陈兰，张辽便击溃了陈兰的军队。

公元二百一十三年（建安十八年），臧霸从讨孙权于濡须口，与张辽同为前锋，遇上大雨，前锋大军先至，见江水增涨，敌船稍进，将士皆不安。张辽便欲退走，臧霸阻止张辽道：“曹公是那么英明的人，怎么可能会舍弃我们呢？”第二天，曹操果然发出撤军令。张辽以臧霸之言告诉曹操。曹操对臧霸加以赞扬，拜为扬威将军，假节。曹操破孙权江西营，抓获都督公孙阳。

臧霸从讨孙权，先登入阵，再入巢湖，攻破居巢。后孙权徐详告降，曹操还师，便留臧霸与夏侯惇等屯居巢。

曹丕即王位时，臧霸迁镇东将军，进爵武安乡侯，都督徐州诸军事。后又积功进封开阳侯，徙封良成侯。