唐高祖李渊武德四年（公元621年），秦王李世民在虎牢之战中连败夏王窦建德、郑王王世充两家劲敌，为唐家王朝平定了中国北方。这时李世民已经有了秦王、太尉、尚书令等头衔，既是亲王有封地，又总管全国的军事和行政，实为文武百官之首。因为皇帝李渊看到已有的任何单一王位官职都无法彰显李世民在朝中仅次于皇帝和皇太子李建成的特殊地位，所以再特封李世民为“天策上将”。天策上将的特权之一是可以由其本人自己招募天策府中的官员，这在古代中国叫做“许自置官属”。有了这个特权，李世民就乘着天下比较安稳的时候在宫城的西部建立了文学馆， 广聘各方贤才，扩大自己的智囊团。李世民逐步招募到了十八人，将他们分成三班，每天有六人轮流值宿于馆中，待之以美膳佳醸。李世民处理完了军国大事，朝拜父皇回府后，可以随时与他们探讨政事、商略古今、阐明治道、留情坟典。“当世之人企慕之不可及，真若隔弱水而望蓬莱，宜其目之为登瀛洲也”（明龚斅《鹅湖集》卷六），时人把十八位文人所得的殊荣比作登上了传说中的仙山“瀛洲”。据《旧唐书·列传第二十二·褚亮传》记载，李世民为了让“十八学士”的功绩彪炳后世，命令宫廷画师摹画这些人的肖像，标上他们的姓名和籍贯，并且让诸亮为每人写了赞词，名为《十八学士写真图》，存于皇家图书馆，以示对贤良人才的尊重。后编的《新唐书·列传第二十七·褚亮传》则指明画《十八学士图》的是当时有“丹青神化”之誉的阎立本。
