李宗仁根据庞炳勋18日24时所报关于临沂方面日军损失情况(报告日军“伤五千余，亡三千余”)，判断日军暂时无力组织大规模的进攻，而19日峄县失守，津浦路正面形势紧张，于是于20日电令第59军留1个旅协同第40军防守临沂，主力转进“费县集结整顿后，乘虚向滕县南北地区，与由南阳镇附近渡河之第3集团军部队呼应，截击南下或北退之敌”。张自忠留第114旅归庞炳勋指挥，自率军主力于20日晚开始向费县转移。22日接到蒋介石电令，改令“以主力仍须与庞军团相协力肃清临沂当面残敌外，以约三至四个团经泗水进击曲阜方面，牵制敌人”，但此时军主力已离开临沂。
25日，第40军桃园、三官庙左翼阵地被日军突破，退守九曲店一带。第59军急从第38师抽调3个团，于当日20时西渡沂河，向已占领桃园、三官庙之敌实施夜袭，收复了桃园，但三官庙未能攻下。26日全天，沂河两岸均在激烈的反复争夺战斗之中。至黄昏时，第59军在桃园的3个团“出击受挫，复撤河西”；古城一带的部队在日军猛攻下，为“节约兵力”缩短战线，亦退至十里铺、前后岗头线。临沂形势又趋紧急。庞炳勋电告蒋介石：“职军伤亡殆尽，总计战斗兵现不满千人。”徐祖诒于26日15时亦电告李宗仁：“庞军兵力损失过巨……已失战斗力，张军实力虽剩半数，而士气较前甚差，非有生力援军，临沂难守，祈早决定。”李宗仁急调第57军第111师的第333旅及第20军团的骑兵团驰援。
27日拂晓开始，日军将主要进攻方向指向沂河以西的张自忠部。至28日夜，张自忠向李宗仁电告：“战事激烈为前所未有……职军两日以来，伤亡两千人，连前此伤亡达万余人。职一息尚存，决与敌奋战到底。”29日7时，第333旅到达临沂城东，下午，第20军团的骑兵团亦到达临沂城西。但此时日军第2军“因濑谷支队(台儿庄)方面的战况吃紧，命令第5师团救援濑谷支队。于是第5师团命令坂本支队暂时中止攻击沂州(临沂)，去救援濑谷支队。坂本支队队长在临沂附近留下步兵约2个大队，主力从29日夜开始缩小战线，撤兵南下”。临沂形势有所缓和。
3月30日，临沂守军发现日军“向北退却”，当即“令333旅沿沂河，骑兵团向艾山、义堂集一带追击”。日军第5师团师团长板垣征四郎在坂本支队西进后于3月31日进至汤头，接着又进至临沂西北的义堂集，指挥坂本支队留下的两个大队，将追击的中国军队阻止于汤头及义堂集以南，然后重新调整部署，增调部队，作再次进攻的准备。临沂地区虽然每日仍有战斗，但在日军发动大规模进攻前，形势相对稳定。在临沂地区1个多月的战斗中，第59军及第40军共伤亡1万余人。日军第5师团伤亡约3000余人，并未能完成攻占临沂的任务。这是该师侵入中国以来，继平型关受挫后遭到的第二次严重挫折。