尉迟迥控山东几十州而反，圣人也是反手而灭，你以为你比尉迟迥还厉害吗？若是你再敢为我高氏招致灾祸，我就把你逐出家门。”
    高表仁看到父亲动怒，不敢再说话。
    高颎目光深邃地说道：“当初我刚做仆射的时侯，你的祖母告诫我说：‘你富贵已到极点，只有一个东西没有得到，那就是杀头。你应该小心呀！’因此我时常惧怕祸乱，为此担忧。现在圣人要免了我的职，我是一点遗憾都没有了，这样子可以免除我们全家的灾祸了。”
    高颎终究当夜没有走成，在大军重重护卫之中，高颎身为统帅，哪能这么容易就走掉。
    第二日一早，高颎将众将招来帅帐，直言了自己当前的境遇。底下众将或是惴惴不安，或是为高颎喊冤抱屈，更有甚者大骂朝堂上出了奸臣。可看到底下无数人眼底的那份跃跃欲试，高颎知道，如果今天自己在这里有什么出格的言行，绝对会被这些人当场斩杀的。现在的天子积威深重，没人可以对他说不，就是自己身为宰相也不可能撼动他的统治。
    不顾其他众人的阻拦，高颎将军务交给随他一同出征塞外的并州总管府长史宇文弼，自和其子高表仁当日便轻车简从的返回长安。