进。四年四月，攻陷郓州城，旋即与葛从周一同降服攻下兖州。

大顺三年，梁军大举进攻淮南，到濠州东面，听到先头部队在清口失利，各路军队都退到淠河，溃乱不成队伍。牛存节断后，各位将领都放弃坐骑，徒步格斗，使各军逐渐得以渡过淠河，收聚部下败兵共八千多人。牛存节训导激励各部，以抵御追击的吴军，得以回师。

大顺四年，淮南军攻徐宿，牛存节定计说：“淮兵必不先攻宿，宿州沟垒很坚固，一定能御敌。”于是连夜率兵赶往徐州城下，朱瑾兵后至，见尘土飞起，大惊说：“梁兵已经来了，为什么这样快？”不敢进攻而去。天祐元年，任邢州团练使。当时邢州兵士才二百人，晋人知悉，率领大军前来侵犯。朱温发长直兵二千人奔赴支援，牛存节率壮士出战。晋军紧急进攻，七天不胜退走。朱温召来牛存节，慰劳他很久，加封为检校司徒。

光化四年，朱温篡位，任牛存节为右千牛卫上将军。那年秋天，全军进攻上党，以牛存节为行营马军步军都排阵使。梁军在潞州战败，晋军乘胜挺进泽州，州城即将陷落。河南留守张全义召来牛存节共谋，牛存节即率本部军士及右龙虎军、羽林军等前往接应上党。

牛存节至天井关遇见溃兵，才知夹寨被破，号令军前道：“泽州地据要害，万不可失，虽无诏命，也当趋救为是！”大众都有惧色，牛存节又道：“见危不救，怎得为义？畏敌先避，怎得为勇？诸君奈何自馁呢！”于是举起马鞭，麾众前进，到了泽州城下。城中人已有变志，经牛存节入城拒守，众心安定。周德威等率众到来，围攻十余日，牛存节多方抵御，无懈可击。刘知俊又收集溃兵，来援牛存节，周德威于是焚去攻具，退保高平。

晋王李存勖也引兵返回晋阳，休兵行赏。命周德威为振武军节度使，更兄事张承业，升堂拜母，赐遗甚厚。一面饬州县举贤才，黜贪残，宽租税，抚孤穷，伸冤滥，禁奸盗，境内大治。复训练士卒，严定军律，信赏必罚，蔚成强国。潞州经李嗣昭抚治，劝课农桑，宽租缓刑，不到数年，军城完复，依旧变作巨镇。自是与朱梁争衡，成为劲敌。

朱温毒死哀帝之后，因为苏循等人是唐室旧臣，便勒令致仕去职，共斥去十五人。张文蔚死，杨涉免官，改用吏部侍郎于兢，礼部侍郎张策，同平章事。因韩建尽忠梁室，加他同平章事职衔。次年迁都洛阳，改称梁州为东都。命养子博王友文留守。这时岐、蜀、晋三国，联兵攻梁雍州，为梁将刘知俊所拒，不能得志。三国兵陆续引还，再拟联结淮南，共图大举。

此时的淮南因为象牙潭大捷，意外地一举吞并了危氏与彭氏的地盘，疆域大增，徐温的地位大为巩固。但为了长治久安，徐温开始准备对几个杨行密的大将动手。主要是有四人：镇南节度使刘威，歙州观察使陶雅，宣州观察使李遇，常州刺史李简。他们都是杨行密的旧将，建有大功，对徐温独揽大权，内心不平。李遇尤其厉害，常说道：“徐温是什么人，我不曾见过面，一日之间竟当政了！”

馆驿使徐玠出使吴越，路过宣州，徐温让徐玠劝说李遇到扬州朝见新王，李遇开始应允了。徐玠说道：“您不这样，人家说您谋反。”李遇却勃然大怒地说道：“您说我李遇谋反，那杀死侍中的人不是谋反吗！”侍中，是说威王杨渥。徐温得知大怒，任命淮南节度副使王檀为宣州制置使，数说李遇不到朝廷来的罪状，并派遣都指挥使柴再用率领州、润州、池州、歙州的军队送王檀的宣州，州副使徐知诰作他的副手。李遇不接受替代，柴再用攻打宣州，打了一个月也没有攻克。

此时宣州刺使李遇的小儿子提任淮南牙将，李遇最喜欢他。徐温将他逮捕，押到宣州城下，他的小儿子号哭哀求活命，李遇因此不忍心再战。徐温派何荛进入宣州城内，用杨隆演的命令劝说道：“您本来的意思如果是谋反，请斩我何荛向众宣示；不是这样，随我何荛出城归顺投降。”李遇于是打开城门，请求归降，徐温派柴再用把他斩首，杀他全族。于是淮南诸位将领开始畏惧徐温，没有人敢于违抗他的命令。

徐温接到三国之书，心中大喜，便派李厚率水军一万五千人进攻荆南的高季兴。高季兴得报，大惊失色。于是一面整军备战，一面派人向朱温告急。朱温得到高季兴的奏报，心想自己刚刚兵败，不能发兵荆南。朱温即派人向马殷传令，让马殷的楚军前去救援高季兴。