晋皇甫谧《高士传》记载：“安期生者，琅琊人也，受学河上丈人，卖药海边，老而不仕，时人谓之千岁公。秦始皇东游，请与语三日三夜，赐金璧直数千万”。秦始皇离去后，安期生委弃金宝不顾，留书始皇：“后数年求我于蓬莱山”。始皇得信，“即遣使者徐巿（音福）、卢生等数百人入海。未至蓬莱山，辄遇风波而还。立祠阜乡亭并海边十数处”。能与秦始皇长谈三昼夜，足见安期先生的知识之渊博。据说秦始皇三次东巡琅琊，三次到天台山，第一次与安期生长谈三昼夜，第二次到访时已经见不到安期生，于是天天远眺东海，并派徐福出海寻找，可谓是望眼欲穿，找不到安期先生便“立祠阜乡亭并海边十数处”，并将天台山中的山谷改名为望仙涧。汉武帝对安期先生的留恋更是有过之而无不及，临淄人李少君对汉武帝说：“臣尝游海上，见安期生，安期生食臣枣，大如瓜。安期生仙者，通蓬莱中，合则见人，不合则隐”，齐地方士栾大(汉武帝迷恋求仙方术，连女儿都下嫁给栾大）自称“臣常往来海中，见安期，羡门之属”。于是汉武帝先后七次东巡琅琊并“遣方士入海求蓬莱安期生之属”。天台山上仍然有秦皇汉武望仙台，秦始皇所建安期祠已不在，但遗址犹存。据说安期祠有对联一幅“师黄老颂黄庭悟黄道位居北极真人，采仙药炼仙丹修仙体成就千岁神翁”，但作者已经无据可考。

汉司马迁《史记》卷九十四《田儋列传》记载：项羽起兵反秦，安期生与好友蒯通跑去向项羽献策，又未被采纳。“项羽欲封此两人，两人终不肯受，亡去”。《史记·孝武本纪》记载：“少君（指李少君）言于上曰：‘祠灶则致物，致物而丹砂可化为黄金，黄金成以为饮食器则益寿，益寿而海中蓬莱仙者可见，见之以封禅则不死，黄帝是也。臣尝游海上，见安期生，食巨枣，大如瓜。安期生仙者，通蓬莱中，合则见人，不合则隐。’于是天子始亲祠灶，而遣方士入海求蓬莱安期生之属，而事化丹砂诸药齐为黄金矣。居久之，李少君病死。天子以为化去不死也，而使黄锤史宽舒受其方。求蓬莱安期生莫能得，而海上燕齐怪迂之方士多相效，更言神事矣。” 太史公《史记·孝武本纪》说：“安期生仙者，通蓬莱中，合则见人，不合则隐”是很切实的评语。

安期生隐居东海桃花岛时在秦朝或汉朝已无从查证了，汉刘向《列仙传》说他在东海边买过药，《史记·乐毅列传》说“乐臣公学黄帝、老子，其本师号曰河上丈人，不知其所出。河上丈人教安期生……”，安期生被列为黄老学说的传承人之一，宋《宝庆昌国志》和清光绪《定海厅志》都说安期生在桃花岛炼丹，现尚存“炼丹洞”遗迹。

最为后人称道的是宋《乾道四明图经》载：“安期生尝以醉墨洒于山石上，遂成桃花纹，奇形异状，宛如天然，人多取之，以为珍玩”。

补充：《艺文类聚》载：安期生，琅耶阜乡人，卖药海边，时人皆言千岁公，秦始皇请见，与语三日三夜，赐金璧数万，出于阜乡亭皆置去，留书，以赤玉菭一量为报，曰：复千岁，来求我于蓬莱山下，始皇遣使者数人入海，未至蓬莱山，辄风波而还，立祠阜乡亭，海边十处。……《汉武内传》曰：李少君，字云翼，齐国临淄人，好道，入泰山采药，修绝谷全身之术，遇安期生，少君疾困，叩头乞活，安期以神楼散一匕与服之，即愈，乃以方干上，言臣能凝澒成白银，飞丹沙成黄金，金成服之，白日升天，身生朱阳之翼，艳备员光之异，竦则凌天，伏入无间，控飞龙而八遐遍，乘白鸿而九陔周，冥海之枣大如瓜，钟山之李大如瓶，臣以食之，遂生奇光，师安期授臣口诀，是以保万物之可成也，于是上甚尊敬，为立屋第。