从前，有个姓李的书生，上京去赶考。他只顾赶路，错过了宿头。这时，天色已晚，前不着村，后不着店，心里十分着急。忽然，他看见前面不远处有座大庙，便快步走去，想在庙里借宿一宵。
走到庙前一看，只见庙的大门紧闭着，门上贴着一张纸条，上面写着：“此庙神仙出游，凡人不得入内，违者必受惩罚！”李书生看了心想：“我赶考心切，就是神仙来了，也顾不得了。”他找了块石头，把庙门砸开，走进庙里，只见庙里黑洞洞的，什么神仙也不见。李书生累了一天，这时顾不了许多，找了个墙角，倒下便睡。
夜深人静时，忽然有个老人，拄着拐杖，一瘸一拐地走进庙来。他看见墙角睡着个书生模样的人，又气又恨，大声喝道：“好大胆的凡人，竟敢闯进神仙的庙宇来睡觉，真是胆大妄为！”说着，举起拐杖朝李书生就打。李书生睡梦中被惊醒，见有个老人要打他，急忙翻身跳起，问老人为什么要打他。老人说：“这是神仙的庙宇，凡人不能进来，你违反了神仙的规矩，就该受惩罚！”李书生一听，说：“我因赶考错过了宿头，才进来借宿一宵，并未知晓神仙的规矩。求老丈饶恕！”老人听他挺知礼，知书达理，知错就改，便说：“看你挺斯文知礼，饶你这次吧，你赶快离开这儿！”
李书生说：“深更半夜，叫我往哪里走？再说，我走得急了，没带行囊，身边一个钱也没有，叫我怎么生活？求老丈行行好，给我指条活路吧！”老人说：“看你怪可怜的，就告诉你吧。前面有座山，名叫五指山，山上有棵摇钱树，树上挂着一只只钱袋，你上去把一只钱袋取下来，里面的钱，一辈子也花不完。”
李书生一听，高兴极了，连忙问：“老丈，这山离这儿有多远？摇钱树在什么地方？钱袋又挂在什么地方？我怎么上去取呢？”老人说：“这山离这儿不远，出了庙门，往东走就是。摇钱树就长在五指山顶峰上，钱袋就挂在树梢上。你上去时，不能从山脚上去，因为山脚有路，有路就有凡人上去，凡人上去，神仙就知道了。这样，摇钱树就会隐去，你就取不到钱袋了。你必须从山的后面陡壁上爬上去，神仙才不会知道。”
老人说到这里，又嘱咐道：“还有，你上去时，不能回头看，一回头，就会变成石头。你取下钱袋后，也不能久留，要赶快下来，否则，天一亮，神仙回来，看见你就糟了。”李书生一一记下，感谢了老人的救命之恩，就急急忙忙往五指山赶去。
李书生来到五指山脚下，从后面一看，果然是个陡壁，几乎直上直下，光秃秃的，没一点落脚的地方，要想爬上去，真比登天还难。但是一想到能取到钱袋，一辈子有花不完的钱，他就鼓起勇气，拼命往陡壁上爬。爬呀爬呀，爬了半夜，离山顶还差老高。他累得筋疲力尽，又渴又饿，真想停下来歇一歇。但是一想到老人说的话，又不敢停下来，只得继续往上爬。爬呀爬呀，又爬了半天，才爬到山顶。这时，天已快亮了。他往四周一看，只见顶峰上长着一棵小树，树上果然挂着一只只钱袋，便伸手去取。他想，这么多钱袋，我取哪一个呢？取最大的吧，最大的里面钱一定多。他刚把最大的那只钱袋取下来，忽然听到天上有喊叫声：“不好，有人偷钱袋啦！”李书生一听，心里一慌，忙把钱袋往怀里一揣，转身就往回跑。刚跑几步，就听见后面轰隆一声巨响，回头一看，原来自己变成了一块石头。
这时，天已大亮，神仙们都回来了。他们看见有人敢偷钱袋，非常气愤，便商量要怎样处罚他。有个白胡子神仙说：“他是个凡人，能爬上这陡峭的五指山，也不容易，就罚他变成石头，站在山顶上，为过往行人指路吧！”众神仙都同意这个意见。于是，李书生就永远地变成了石头人。
后来，有人上五指山，常常看见在五指山顶峰上，有个石头人，站在那儿指指点点，好像在为行人指路。据说，这就是李书生变的。