潘姓主要出自姬姓。西周初年,周文王孙伯季食邑于潘地(今固始县境内),因伯季家族治理潘地有功,又被加封为伯爵国。公元673年,楚国军队进攻潘国,潘国无力抵挡。潘国国君权涌,为使臣民不忘潘国故土,要潘国臣民世代以潘为姓,随后自刎于殿堂之上。权涌之子潘崇带领家人投降楚国,他卧薪尝胆,刻苦读书、习武,后被推荐为楚太子商臣的老师,并成功诱使太子商臣逼迫楚成王退位。商臣即位,封潘崇为太师,让潘崇掌管国事,潘姓遂成楚国最有影响的姓族之一。据载,潘姓还有一些是从历史上少数民族(鲜卑族)改姓而来,台湾高山族人数最多的就是潘姓。

潘姓历史名人中,晋代有文学家潘岳,宋朝大将潘美,明朝科学家潘季驯,诗人潘琴台,清代思想家潘平格,当代有政治家潘汉年,画家潘天寿,戏剧家潘月樵等人。