刘备从陶谦手中接过徐州时，琅琊国和东海郡的大部分地区被一帮人实际控制着，这帮人的头目叫臧霸，小名奴寇。臧霸是兖州刺史部泰山郡人，父亲叫臧戒，在县里面担任过监狱长。泰山郡太守喜欢随便杀人，臧戒拒绝执行命令，惹怒太守，把他抓了起来，要押送到郡里治罪。

臧霸当时只有18岁，听说后马上聚合了几十个人，在半道上把父亲劫下，之后带着父亲还有一帮人逃亡到徐州。臧霸以勇壮闻名，黄巾起义爆发后陶谦在徐州募兵，臧霸加入陶谦的队伍，由于作战勇敢，升为骑都尉，相当于骑兵旅长。在陶谦与曹操的两次战斗中没有见臧霸参战的记载，可能他负责驻防在外围地区。陶谦手下的孙观、吴敦、尹礼等都出身于泰山郡，臧霸和他们抱成一团，又拉拢了陶谦任命的东海郡太守昌豨，几个人发展成一个组织，表面服从陶谦领导，其实只听臧霸的。

陶谦拿他没有多少办法，只能睁只眼闭只眼，只要他们不闹事就行。陶谦一死，臧霸领着孙观、吴敦、尹礼聚兵于琅琊国的开阳县，正式打出旗号，以臧霸为首领，史书记载臧霸“收兵于徐州，与孙观、吴敦、尹礼等并聚众，霸为帅，屯于开阳”。一共只有5个郡国，琅琊国在霸臧手里，东海郡在昌豨手里，徐州没了一小半，这还不算，最南面的广陵郡也不在目前的控制中。陶谦在时，王朗被朝廷征召到江东担任了会稽郡太守，赵昱担任了广陵郡太守。赵昱颇为正直，虽然不满陶谦，但让他造反，无论造朝廷还是造陶谦，他都不会干。但这时，广陵郡来了不速之客。

这个人就是笮融，他原是陶谦手下的下邳国相，由于装神弄鬼，让陶谦错判了形势，加上曹操大军压境，他只好开溜。曹操二征徐州时，笮融率手下部从及家属男女共1万多人南下，到了广陵郡。赵昱待笮融为宾客，摆下盛大酒席招待。笮融看到广陵郡物丰民富，怦然心动，起了歹心。一次宴会上，笮融将赵昱杀害，袭取了广陵郡。笮融的势力一度在下邳国南部和广陵郡坐大，后来由于袁术的打击，笮融又逃到江南，广陵郡的大部分地区被袁术实际控制着。

对刘备这个徐州刺史来说，手里能控制的只有彭城国和下邳国而已。