伯施五绝
《新唐书》载：帝每称其五绝：一曰德行，二曰忠直，三曰博学，四曰文词，五曰书翰。太宗皇帝把虞世南的德行和忠直放在了前两位，而文学和书法其次。——因德行和忠直关乎国事民生，而文学的辅政功用相对不那么明显。就虞世南之德行、忠直和文学，和其兄虞世基相比较，我们可以发现前两者都是背其道而行的。
首先是德行。《贞观政要》载：宇文化及杀逆之际，其兄世基时为内史侍郎，将被诛，世南抱持号泣，请以身代死，化及竟不纳。世南自此哀毁骨立者数载，时人称重焉。《北史•虞世基传》载：其弟世南素国士，而清贫不立，未曾有所赡。由是为论者所讥。孝悌两者，是传统道德的基本，有“入则孝，出则悌”之古训，孝对父母长辈而言，悌虽指弟对兄，亦可广泛到兄弟姐妹间的亲近爱护。而孝悌准则，在虞世基和虞世南两人身上似乎截然不同，最后导致了“时人称（虞世南重”和“由是（虞世基）为论者所讥”的结果。
古时之名士，往往身体力行，甘心贫寒，这是素士修炼成名士的必要条件，如同古时高僧在山间隐居、结庐、参道，然后悟得真果。《北史》载：（虞世基）贫无产业，每佣书养亲，怏怏不平。尝为五言诗以见情，文理悽切，世以为工，作者无不吟咏……其继室孙氏，性骄淫，世基惑之，恣意奢靡，雕饰器服，无复素士之风。孙复携前夫子夏侯俨入世基舍，而顽鄙无赖，为其聚敛，鬻官卖狱，贿赂公行，其门如市，金宝盈积。《新唐书》载：世基佞敏得君，日贵盛，妻妾被服拟王者。而虞世南在陈及隋的数十年里，“躬贫约，一不改。（引同上）”追求过于奢华的物质生活，要求得到更大的政治权力，这些欲望导致了官员失却原有的从仕初衷——也是一个官员的物质生活腐败和精神道德沦丧的开始。人生追求之不同，导致最后人生结局之不同——这是关于德行的直观的，和可量化的部分。
其次是忠直。《北史》载：世基知帝不可谏正，又以高颎、张衡等相继诛戮，惧祸及己，虽居近侍，唯谄取容，不敢忤意。盗贼日甚，郡县多没，世基知帝恶数闻之，后有告败者，乃抑损表状，不以实闻。是后外间有变，帝弗之知也。《新唐书•卷一百》载：虞世基得幸炀帝，然不悉吏事，处可失宜。（封）伦阴为裁画，内以谄承主意，百官章奏若忤旨，则寝不闻；外以峻文绳天下，有功当赏，辄抑不行。由是世基之宠日隆，而隋政日坏矣。时纲纪汩振，宇文述、虞世基用事，官以贿迁，唯矩挺节无秽声，世颇称之。据虞世南本传载，唐高祖亡后，因陵墓营制规模问题，虞世南屡次上奏，声称“今所卜地势即平，宜依周制为三仞之坟，明器一不得用金银铜铁，事讫刻石陵左，以明示大小高下之式，一藏宗庙，为子孙万世法，岂不美乎！”太宗皇帝因此才“稍稍裁抑”；帝尝作宫体诗，使赓和。世南曰：“圣作诚工，然体非雅正。上之所好，下必有甚者，臣恐此诗一传，天下风靡。不敢奉诏。”帝曰：“朕试卿耳！”赐帛五十匹；帝数出畋猎，世南以为言，皆蒙嘉纳；（虞世南卒）后数岁，（太宗）梦进谠言若平生，翌日，下制厚恤其家。这又是臣子之忠直、奸邪两端。若是世基不败或世南不显，世间民众承受的苦难可能要多一些，相反则是良性发展、民众受惠。
最后，关于文学。《新唐书》载：世基辞章清劲过世南，而赡博不及也，俱名重当时，故议者方晋二陆。清劲之意，当在劲字。而世南淡泊明净。文若其人，此亦为两人性情或境界差距。另，在《隋书》中，隋炀帝对世基和世南两人的态度也可以说明：世基貌沉审，言多合意，是以特见亲爱，朝臣无与为比；炀帝虽爱其（即虞世南）才，然疾峭正，弗甚用，为七品十年不徙。杨广舍长取短，当他最后面对白绫一刻，不知是否后悔过“取合意、弃峭正”的用人方法？
当然，世基并非天生堕落，这是其在仕宦生涯中世界观和价值观的日渐偏向，最后造成一门血族都被杀戳殆尽的祸端。而世南抱朴守拙，磨刀六十载方露其锋利，虽年已老迈，但性情志向和做人准则都未曾改变。因此，唐太宗才盛誉其五绝之美，才得以悬图凌烟阁、陪葬昭陵。身后荣耀虽无用，但后人可鉴！