韩熙载本来家财颇丰，除了每月丰厚的俸禄收入外，由于他文章写得极好，文名远播，江南贵族、士人、僧道载金帛求其撰写碑碣的人不绝于道，甚至有以千金求其一文者，加上皇帝的赏赐，遂使韩熙载成为南唐朝臣中为数不多的富有之家。正因为韩熙载家富于财，所以他才有条件蓄养伎乐，广招宾客，宴饮歌舞。家财耗尽后，仍未有所改变，每得月俸，就散于诸伎，以至于搞得自己一无所有。每到这个时候，他就会换上破衣烂衫，装成盲叟模样，手持独弦琴，令门生舒雅执板，敲敲打打，逐房向诸伎乞食，大家都习以为常了。有时碰到伎妾与诸生私会，韩熙载便不进其门，还笑着说不敢打扰你们的好兴致。以至于有的伎妾夜奔宾客寝处，其客有诗云：“最是五更留不住，向人头畔着衣裳。”

    韩熙载的这种行为，有意造成了放荡不羁、不堪重用的影响。但是他毕竟有一个人口众多的家庭，仅靠游戏般的乞讨是不能解决问题的。在不能度日、无可奈何的情况下，他只好向后主上表哭穷，后主李煜虽然不满，但还是以内库之钱赏赐。于是韩熙载索性不再上朝，被人弹劾，贬为右庶子，分司于南都，即于洪州安置。韩熙载遂尽逐诸伎，一面单车上路，一面上表乞哀，当后主将他挽留下来后，以前所逐诸伎又纷纷返回，韩熙载也重新回到了以往那种纵情声色的日子。后主李煜感叹：我都不知道该怎么办。

    韩熙载才华横溢，也曾经立志报国，却放荡到如此地步，不能不引起人们的颇多猜测。

    后主李煜曾经想拜韩熙载为相，这在《宋史》、《新五代史》、《续资治通鉴长编》、《湘山野录》、《玉壶清话》、陆游《南唐书》等诸多典籍中都有所记载，应该是确实无疑的，这也很可能是李煜派人去韩熙载家绘制夜宴生活图景的原因。在诸多的传闻之下，李煜颇想知道真相，以便确定是否重用。顾闳中大概就是领受了这样的使命，夜至其第，窃窥之，目识心记，图绘以上。还有一种说法，见于《五代史补》，说韩熙载晚年生活荒纵，毎当延宾客请谒，先让女仆与之相见，或调戏，或殴击，或加以争夺靴笏，无不曲尽，然后韩熙载才缓步而出，习以为常。同时还有医人及烧炼僧数人，毎次来无不升堂入室，与女仆等杂处。后主李煜知道之后，虽然很生气，但是因为韩熙载是朝中大臣，不想直指其过，于是命待诏画图以赐之，使其自愧。不管怎么说，从这一点来看，后主李煜了解韩熙载夜生活的目的，都是出于善意，或欲重用，或欲促其能有所改正。

    关于韩熙载纵情声色、躲避拜相的真正原因，陆游《南唐书·韩熙载传》与《钓矶立谈》等书均说：韩熙载“认为中原王朝一直对江南虎视眈眈，一旦真命天子出现，我们连弃甲的时间都没有了。在这种情况下，我如何能够接受拜相，成为千古之笑谈？”在这一时期，韩熙载的政治抱负和理想完全破灭了，而且亡国当俘虏的命运迫在眉睫，个人内心和客观现实的错综复杂的矛盾与痛苦在折磨着他，使他除了以声色自娱来安慰和消磨自己外，已别无出路。这就是我们看到《夜宴图》中的韩熙载在欢宴时，非但不是心情欢畅，反而表现出悒悒不乐、心情沉重的表情，其根本原因就在于此。

    韩熙载在六十九岁的时候死去，那一年是宋太祖开宝三年（970）。尽管也有野史记载他是被谋害致死的，不过这些均为无稽之谈，不足于采信。韩熙载死时毕竟已经六十九岁了，在古代社会已经算是高龄了，加上其晚年纵情声色，心情又非常郁闷，寿终正寝还是非常有可能的。

    韩熙载死后，后主李煜非常痛惜，欲赠其同平章事的官职，遂问左右前代是否有这样的先例，左右回答说以前刘穆之曾赠开府仪同三司。于是下诏赠韩熙载左仆射、同平章事，即宰相之职，谥曰“文靖”，这在古代已经是极好的谥号了。韩熙载死时家里已经非常贫穷，棺椁衣衾，都由后主赐给。后主又命人为其选择墓地，要求必须选在“山峰秀绝，灵仙胜境，或与古贤丘表相近，使为泉台雅游”。后来将他埋葬在风景秀美的梅颐岭东晋著名大臣谢安墓旁。李煜还令南唐著名文士徐铉为韩熙载撰写墓志铭，徐锴负责收集其遗文，编集成册。这种待遇对于臣下来说，可谓荣耀之至了。