太宗貞觀年間，天台山國清寺的住持名叫豐干禅師。豐干禅師一次雲游，去赤城山，突然聽到一個孩子的哭聲。四野無人，禅師急忙奔向前去，見是一個年約十歲的男孩在抽泣。禅師問∶「小菩薩，你是誰領出來的？父母在哪？家在什麽地方？」孩子回答說∶「我是個孤兒，無父無母，貪玩迷了路，家也不知在哪裡了。」豐干禅師見他可憐，便領回了國清寺，交給僧人撫養。因這孤兒無名，又是豐干撿來的，僧人們便稱他為「拾得」，天長日久，拾得就成了孩子的名字。
幾年光陰一過，拾得從一個稚弱童子變成了碩壯少年，能夠干些雜活了。豐干便派他去廚房幫忙，擇擇菜，燒燒火，好替僧人們減輕一些生活壓力。這位拾得人倒勤快，只是有個怪毛病，每次干活總將一些剩菜剩飯包好，放到一個竹簍裡。這些東西是他為寒山准備的。寒山是誰？國清寺的僧人都知道，他就是隱在山頂「寒巖」的那位怪人。寒山穿著奇怪，僧不像僧，道不像道，又喜歡詩文詞藻，經常順手寫上幾句，或隨口吟誦幾聲。但他不像普通詩人那樣預備文房四寶，也從不積累文稿，只要興趣來了，便在屋壁竹石之上隨手刻下。時間一久，寒巖附近的山石樹木、村捨牆壁之上便布滿了寒山的詩文。拾得對寒山非常敬佩，很想學得寒山的風范文采，便每日收積國清寺僧人用剩的飯菜，供養寒山。寒山每次下山來國清寺，他必有一竹簍的飯菜送給寒山，由寒山背上山去。
僧人講究慈悲愛物，自已用不了的東西送給別人，對僧人來說是常事，所以，國清寺的和尚們對拾得的作為也不放在心裡。然而，有一件事卻令眾僧非常難以忍受，那就是拾得經常在深更半夜狂呼亂叫。國清寺地處天台山腳下，附近村民很少，夜裡極其安靜，拾得突然大喊大叫，猶如平地驚雷，實在嚇人得很。眾僧無法忍受，便走出來批評他、驅趕他。拾得也不反駁回擊，總是撫掌大笑，揚長而去，好像是故意要打破沉靜之夜，擾亂僧人的清修。
三番五次之後，僧人們見拾得屢教不改，只好禀報豐干，希望豐干出面管教一下。豐干卻對拾得縱容得很，從來不加勸阻。他自己也和拾得差不多，經常在深夜歌唱自娛。這是為什麽呢？原來，豐干不是常人，他知道拾得也不是常人，寒山也不是常人。他們到底是誰呢？原來是三聖菩薩的化身。
卻說當時的台州刺史名叫闾丘胤。闾丘胤初來台州時，路上突患頭疼，劇痛難止。正好遇上豐干自天台山外出游方路過，豐干便含一口水噴在闾丘胤的臉上，立即治好他的頭疼。闾丘胤隨即問道∶「天台山有什麽高賢嗎？」豐干回答∶「賢人當然有，只是見到他們的人並沒真正的認識他們，真正認識他們的人無緣見到他們。你如想見到他們，千萬不可以貌取人。寒山是文殊化身，隱跡天台；拾得則是普賢菩薩，看上去卻像乞丐。這兩位都不是凡人。」板丘胤聞言，隨即上天台訪問賢者，倉促之間竟忘了問問眼前這位高僧的名字，因而不知道他就是大名鼎鼎的豐干。
板丘胤來到國清寺，依照禮節，先求見豐干住持。寺僧將他領到豐干的禅房，豐干當然不在。閻丘胤又要見寒山和拾得，寺僧便領他來到寒山隱居的寒巖，只見有兩人坐在一堆篝火前面，正不知為何事而縱聲長笑。闾丘胤上前施禮，說明來意。寒山、拾得大聲喝道∶「豐干多嘴多舌，把我們說出來干什麽！你這人也是，遇上了阿彌陀佛都不知道，還來找我們干什麽？」說罷，二人撫掌大笑，牽手走到山林深處去了。從此，人間再沒見到寒山、拾得，豐干也不見蹤影了。闾丘胤隨即派人將寒山刻在石木牆壁的詩文抄錄下來，共有三百馀首，這便是流傳於世的《寒山子文集》。
在江浙一帶，寒山、拾得與豐干的故事幾乎是家喻戶曉，人人盡知。人們相信，他們就是三位菩薩的化現。
