陶谦为官清廉，在任上没有什么把柄可被人抓住。在一次祭祀灵星的活动中，还剩余五百钱，他本可以将这笔钱留下，可他却选择弃官而去，不愿沾染这不明不白的钱财。
此后，陶谦的仕途不断升迁，他先后担任幽州刺史，又被征召入朝任议郎。后来，他还参与了车骑将军张温的军事行动，向西征讨韩遂。当时，西羌侵犯边境，皇甫嵩任征西将军，上表朝廷请求调派武将。陶谦被召拜为扬武都尉，跟随皇甫嵩征讨西羌，立下赫赫战功，大败羌军。
不久后，边章、韩遂发动叛乱，司空张温奉命出征，邀请陶谦担任参军事。张温对陶谦礼遇有加，可陶谦却对张温的行事风格颇为轻视，心中多有不服。军队凯旋后，百官举行盛大宴会，张温让陶谦在宴会上依次敬酒。陶谦却借此机会当众羞辱了张温。张温大怒，一气之下把陶谦发配到了偏远的边境地区。
有人劝张温说：“陶恭祖原本凭借才能谋略被您看重，如今只因醉酒后的一点过失，您就不能宽容他，把他远远地抛弃到荒蛮之地，这样做，您的厚德就难以善终，四方的有识之士又该如何看待您呢？不如放下怨恨，恢复你们当初的情分，这样您的美德才能远扬。”张温觉得这话在理，便派人把陶谦追了回来。
陶谦回来后，又有人劝他说：“您之前轻视羞辱三公，这是自己犯下的过错，如今能得到赦免，张温对您的恩德已经够深厚了。您应该放下架子，言辞谦卑地去道歉。”陶谦嘴上答应着。可当张温在宫门口见到陶谦时，陶谦却仰着头说：“我是来向朝廷谢罪的，可不是为了您！”张温无奈地说：“恭祖，你的痴病还没好吗？”不过，张温最终还是不计前嫌，为陶谦摆下酒宴，待他如初。
恰逢徐州黄巾军起义，朝廷任命陶谦为徐州刺史。陶谦到任后，立刻率军攻打黄巾军，成功将其击退。董卓之乱爆发后，天下大乱，州郡纷纷起兵。汉献帝被迫迁都长安，与外界的联系断绝。陶谦心系朝廷，派人冒着危险，辗转多地向朝廷进献贡品。朝廷为嘉奖他，升任他为安东将军、徐州牧，并封溧阳侯。