后来，他因为一件小事情得罪了独孤皇后，因此，皇后常常在杨坚的耳边说他的坏话，使得文帝渐渐疏远了他，另外，他的儿子娶了太子杨广的女儿，当时，文帝已经有了废太子的心思，在这一点上，高颖是反对的。

于是，文帝找了一个因头，将高颖罢职回家，领了一个齐公的虚职，后来，又变本加厉，以莫须有的罪名将他削为平民。

杨广继位之后，将身为平民的高颖重新启用，任命为太常卿。

高颖对杨广同样克尽臣道，见有不正确的地方，就直言不讳，这就很快地招致杨广对他的仇恨。大业三年，他以诽谤朝政罪被杀。同时被杀的还有宇文弼、贺若弼。苏威被免官。

高颖被炀帝杀害了，罪状也公布了，然而人们并不觉得他是罪有应得，而是感到伤心、惋惜。

高颖善于发现人才，勇于使用人才，虚心尊重人才。隋朝一代的名臣、名将，很多都是他推荐给文帝的。如苏威，他与高颖一起治理朝政，朝野推服，天下归心。如杨素，他不仅是文帝的重臣，而且也是炀帝的重臣。如贺若弼、韩擒虎，他们都是平陈的名将，指挥过许多战争。尤其受到人们尊敬的是他不嫉妒人才，当由他推荐的人与他齐名或超过他时，他感到的是愉快，而不是怨恨。如开皇元年，他与苏威并为宰相，他不但能与苏威合作得很好，而且自己还要退下来，把权力完全让给苏威。

当炀帝要杀高颖的时候，苏威，贺若弼，宇文弼纷纷站出来保护他，结果，除了苏威外，其他的人都被炀帝杀了。

高畅是高颖的孙子，祖父被杀的时候，年仅十岁的高畅被高府的一班家将救了出来，逃离了大兴城（现西安），投奔了免职在家的苏威，隐姓埋名，活了下来。

大业元年，苏威继杨素之后为左仆射。三年后，因事罢免，后来又以太常卿，纳言参掌朝政，加开府仪同三司，颇受尊重。

在苏威任职太常卿的时候，高畅进入了军队，任职为鹰扬府正六品校尉，随同杨义臣的讨贼大军前往河北讨贼，由于他武艺精良，每一次，总是被杨义臣派作生力军来冲锋陷阵。因此战功赫赫，在灭张金称，败高士达时立下了汗马功劳。

从军之后，原本跟随他的高府家将已经没有剩下几个了，要不老死，要不就是战死，高怀义和高畅同年，他的父亲在护卫高畅离开大兴城的时候，受了重伤，不久就死掉了，他是高家还活着的不多的几个家将中的一个。

随高畅从军的人，有很大一批人是苏威府上的家将，被特地派来保护他的，因为高畅和苏威的孙女苏雪宜已然定亲，大军班师回朝之时，就是他们成亲之日。

平原一战时，高怀义并没有跟随在高畅身边冲锋陷阵，他因为身体有病的原因，被留在了杨义臣的大帐里，随他一起冲锋陷阵的是另一个与他同年的家将高怀忠，以及那些苏府的家将。

高畅的武艺非常精良，再加上护卫在他身边的人个个武艺高强，所以，当他从高怀忠那里知道公子战死，连尸体也没有找到的时候，他根本就不相信。

很快，高怀忠与苏府的家将就离开了军营，返回了东都洛阳，高怀义没有和他们一起回去，再没有找到自家公子之前，他不会离开平原，生要见人，死要见尸。

失去了苏家的关系，高怀义被打发到了斥候营，做一些危险的事情，最后，被分到这个小队来了。

黄天不负有心人，他终于找到了自家公子，虽然，在这样的场面下见面，颇有点诡异。

他有许多的话想问自家的公子，然而，不知道为什么，就是不敢问出口，在公子身上，多了一种他以前未曾感受过的威严，让他觉得生疏，不敢造次。

然而，不管怎样，这一次，他不会离开自家的公子了！