虽然被称为“中国第一美男子”，但在史书中，潘安的美虽然是天生的，但他本人是否“爱美成癖”，并无从考证。而“非凡人气”、“时代的万人迷”来形容潘安，倒也不算失实。

南朝宋文学家刘义庆写了一本《世说新语》，其中有一篇《容止》，专门写美男子的仪容。其中，潘安就占了极大篇幅：“潘岳妙有姿容，好神情。少时挟弹出洛阳道，妇人遇者，莫不连手共萦之。”刘孝标注引《语林》：“安仁至美，每行，老妪以果掷之满车。”

潘安之美在正史上亦有多处记载，如《晋书-----潘岳传》：“岳，美姿仪”;《文心雕龙》中写道“潘岳，少有容止”。

这些话从不同侧面表达了相同的意思：潘岳长得太秀美了。他年轻时，拿着弹弓，坐车到洛阳城外游玩，女孩子们见了他，都不由得围着他。而老女人们见了他，就用水果投掷他，这样，当潘岳回家时，总是满载而归，这就是著名的“掷果盈车”的来历。

这里的潘岳，就是人所周知的潘安，他表字安仁，全名应是“潘安仁”。河南大学文学院教授王利锁说，古代文章比如骈体文和诗歌，为了对仗押韵、省字，把仁字给省略了。而民间说法则是，因潘安曾侍奉中国历史上最丑最荒淫最无耻的皇后贾南风，德行操守愧对“仁”字，因此后人省略一字，称为“潘安”。