东晋朝廷得知孙恩退归海岛，担心卷土重来，以谢琰为会稽太守、都督五郡军事，统率徐州部众，在东海沿线驻防戍守。
可惜，谢琰虽为谢安次子、车骑将军谢玄从弟，但是并非将帅之才，原则上北府军为谢玄所创，所以讨伐孙恩的成功，虽然都是刘牢之的功劳，他也不过是坐享其成，但是那也是他们谢家军！这让他忘乎所以，既不去安抚百姓，又不整顿武备，每日里仍是世家子弟做派，高谈阔论，诗酒年华。
麾下将领们看不过去眼了，劝说道：“孙恩近在海边，肯定不会死心，时刻窥探我们，将军还是要多加小心才是啊！”
谢琰却不以为然：“苻坚厉不厉害？富有北方大部，有百万之师，结果又怎么样了？还不是落得个淮南送死的下场？
孙恩小小蟊贼，你们也是太看得起他了，怎么还敢再出来？如果他果真再回来，那就是送死！”
人就是禁不得念叨，说曹操曹操就到，公元400年五月，孙恩果然卷土重来，进犯浃口和余姚，又攻破上虞，谢琰派参军刘宣之前去抗击，双方在邢浦遭遇，刘宣之将其打败。
谢琰以为这回肯定没事了，但是手下却人心惊骇，部将皆认为应该严密防备才对，在南湖设列水军，严阵以待，并分派伏兵，突袭叛军，然而谢琰都没有听从，此时有的部下对他已经相当不满了。
没想到几天后，孙恩锲而不舍，再度进犯邢浦，官军抵抗乏力，接连败退，孙恩乘胜挺进。
五月三十，孙恩抵达会稽城。
当时，谢琰还没有吃饭，听说孙恩已经到了城下，豪气冲天道：“等我消灭此贼，再吃饭不迟！”