濑谷支队几次从台儿庄西面抽调第一线部队向汤军团反扑，都被击退。下午2点左右，正当汤军团全力向台儿庄东北和台枣支线附近的日军包围攻击时，突然获悉一个紧急情况：从临沂方面开来了四千多名日军，向通往兰陵镇的大道上南进，其先头部队已到向城附近。
关麟征急令军部附近的徐文亮步兵营和军直属骑兵连跑步向兰陵镇方面前进，尽力迟滞日军，以便军部从第一线抽调兵力迎战；同时命令张耀明师的张汉初旅迅速撤离第一线，向兰陵镇方面迎击来犯之敌。
徐文亮所部很快到达兰陵镇附近，与日军先头部队遭遇，立即发动猛攻。日军展开队形，向徐营开炮。一小时后，张汉初旅也已赶到兰陵镇附近投入战斗。黄昏前，戴安澜旅也赶到参战。
向关麟征军侧背进攻的日军，与戴安澜旅激战到黄昏以后，被压迫到兰陵镇以北地区。入夜之后，日军绕过兰陵镇西北，向杨楼和底阁方面逃窜，企图与台儿庄方面的濑谷支队会合。关麟征命令张耀明师追击，会同郑洞国师围攻此敌。
4月2日，第五战区司令长官部给各参战军团下达任务：
一、第二十军团（含第七十五军）以一部消灭洪山镇北方之敌，以主力于3日保持东南正面，向台儿庄附近之左侧背攻击，逐次向左迂回，务在台儿庄左侧地区，将敌捕捉歼灭之。
