元延[礻右]初年，浙江永嘉有个姓滕的读书人，单名叫穆，年纪二十六岁，风采韵致优美，擅长做诗，被大家所推崇。
他一向听说杭州山水秀美，很想去游玩一番。
延[礻右]元年，恢复科举的诏书下达了，滕穆就拿着本乡的推荐信赴省城应试。到省城后，他就寄居在涌金门外，没有一天不往来于南山、北山以及西湖边上的各个寺院，如灵隐寺、天竺寺、净慈寺、宝石寺之类，以及诸如玉泉、虎跑、天龙、灵鹫、石屋洞、冷泉亭这些景点。举凡深幽的山涧，茂密的树林，悬崖的峭壁等等，差不多快要被他的足迹踏遍了。
七月半那天，滕穆在曲院风荷观赏莲花，因此留宿在湖上，小船就停泊在雷峰塔下。这天夜晚，月光照得大地如同白天一祥，荷花的香气熏得人满身都是，时而还能听到大一些的鱼儿在湖水中跳跃的声音，也能听到归巢栖息的鸟儿在岸边的飞鸣声。当时，滕生已经吃醉了酒，不能入睡，就披上衣服起来，沿着湖堤观看，当他走到聚景园时，就漫步跨了进去。当时，宋朝亡国已经有四十年了，园中的楼台亭馆，像会芳殿、清辉阁、翠光亭等都已塌坍毁坏，唯独瑶津西轩经过变故后依然高高矗立着。
滕生来到轩下，靠着栏杆稍事休息。一会儿，他忽然看到一位美女在前面走，一个侍女在后面跟随，从外面进入园中。美女发髻微乱，姿态柔美，看上去就像是神仙一样。滕生在轩下屏住气息，想看看她究竟想干什么。只听美女说道：“湖山依然如故，风光与以前也没有不同，只不过时代变迁，世事大不一样了，让人有黍离之悲！”说完，她就走到园北的太湖石边，吟起诗来：
湖上园亭好，重来忆旧游。征歌调《玉树》，阅舞按《梁州》。径狭花迎辇，池深柳拂舟。昔人皆已殁，谁与话风流！
滕生乃是一个放浪不羁的人，一开始见到她的美貌。就已经按捺不住自己的感情，等到听了诗作，更加技痒难忍，即刻在轩下继续吟诵道：
湖上园亭好，相逢绝代人。嫦娥辞月殿，织女下天津。未领心中意，浑疑梦里身。愿吹邹子律，幽谷发阳春。
吟诵完毕，快步朝她走去。那美女也感到惊奇，只是慢慢地说道：“本来就知道郎君在这里，所以特地来寻访你。”
滕生问她姓名，美女说：“我离开人间很久了，想要自报家门，又实在担心会惊吓郎君。”滕生听了这番话，确知她是鬼魂，不过一点也不害怕，坚持要问她姓名。美女才说道：
“我芳华姓卫，是已故宋理宗朝的宫女，二十三岁的时侯谢世，就葬在这个园子的边上。今天晚上因为前往演福寺去拜访贾贵妃，承蒙她款接，坐了很久，不想回来得迟了，以至让郎君在这里久久等待。”随即指派侍女说：“翘翘，到屋里去拿坐卧的垫具和酒食水果来。今天晚上月色如此美好，郎君又来了，不可以白白地度过良宵，我们就在这里赏月吧。”
翘翘闻言，领命而去。
一会儿，翘翘回来，带着紫毛毯等物，摆上白玉碾花酒樽，拿出碧琉璃杯盏，美酒芳香，不是人间所拥有的。美女同滕生谈笑戏谑，吟咏诗词，意旨清新美好。美女又让翘翘唱歌以助酒兴。翘翘请求唱名家柳永的《望海潮》词。美女说：“对新人不适宜旧曲。”随即就在座上自己填写了一首《木兰花慢》词，让翘翘吟唱。那歌词是：
记前朝旧事，曾此地，会神仙。向月地云阶，重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙蕖滴露，断堤杨柳垂烟。两峰南北只依然，辇路草芊芊。怅别馆离宫。烟销凤盖，波浸龙船。平时玉屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。
唱完，美女潸潸然流下了眼泪。滕生一边用话语宽慰劝解，一边多次用委婉的言词挑逗她，观察她的意向。美女随即站起来拜谢说：“去世之人，久作尘土，如能服侍巾栉得嫁给你，虽死而不朽。况且郎君刚才的诗句中，本来已经应允我了，愿吹奏邹衍的音律，使深谷变为万物发生的春天。”
滕生说：“刚才的诗句，不过是脱口而出，本来没有这个意思，哪里想到竟成为预言。”
过了很久，月亮隐没在西边的城墙下，河鼓星倾向东边的山岭，美女命令翘翘撤去酒席，说：“寒舍偏僻简陋，不是郎君居住的地方，这西轩也就可以了。”于是手拉手进入瑶津西轩，在轩中借宿；夫妻交合的事情，同人间一祥。天快亮的时候，美女抹着眼泪告别。
到了白天，滕生前往园侧探访，果然有宋代宫人卫芳华的坟墓，墓的左边有一个小土堆，那是翘翘的埋葬之地。滕生在那里感慨叹息了好长时间。等到黄昏，他又赶赴西轩，原来美女已经先到了。她迎着滕生说：“感谢郎君白天前来寻访，但是我只占卜黑夜吉利，没有占卜白昼吉利，所以不敢贸然相见。几天以后，当能不分昼夜了。”从此以后，他们没有一个晚上不相会。经过十天之后，卫芳华白天也能出来相见了，滕生就带着她回到自己的寓所安居下来。
不久，滕生考试落榜，打算东归故里，美女愿意跟随他一起回去。滕生问：“翘翘为什么不跟着去？”她回答说：
“我已经服侍郎君，墓宅没有人，留她看守而已。”滕生遂与她一起回到了故乡，看到亲朋好友，就骗他们说：“这是我在杭郡娶的良家妇女。”大家见这女子举止温柔，言词聪慧伶俐，也就相信滕生，并非常喜次她。那美女在滕生家里，侍奉长辈很有礼数，以恩惠对待奴婢仆人、左右邻居，相处十分融洽。并且，她又勤勉持家，行为端谨本分，即使是中门之外，也未曾随便出去过。大家都祝贺滕生得到了一位贤内助。
光阴渐渐过去三年，到了延[礻右]四年的初秋，滕生整治行装又要赶赴省城去参加乡试了，出发的日子已经定下。美女向滕生请求说：“杭州是我的故乡。我跟从郎君到这里，已经三年了，如今希望能够一同前往，去看望一下翘翘。”滕生应允了，于是雇了一条船，一同乘坐，直达钱塘，临时租了一间房子居住。到达钱塘的第二天，正好是七月半，美女对滕生说：“三年之前，我曾经在这个夜晚与郎君相会，今天恰巧又碰上这个日子，我打算与郎君一同再去一次聚景园，重新继续往日之游，不知道可以不可以？”滕生同意了她的要求，带着酒食一起前往。
到了晚上，月亮爬上了东边的城墙，莲花开放在南边的水湾，嫩柳细竹，在堤岸上摇曳，仿佛就是过去的风光。他们走到园前，翘翘已经在路口迎见礼拜，说道：“娘子陪伴奉侍郎君，遨游城市，前后三年，已经享尽了人间的欢乐，惟独不再挂念旧居了么？”说着，三人一同进了园内，到西轩后坐定。这时，美女忽然流着泪对滕生说：“感谢郎君不嫌弃，让我侍奉内室，还没有竭尽欢乐，又将永远分别了。”
滕生忙问：“这是为什么？”美女回答说：“我本来属于阴间之人，长久地在人世间走动，非常不适宜。只因为与你郎君有着前世的缘分，所以不怕冒犯条规前来相随于你。可到如今，这缘分已告结束，自然应当告辞了。”滕生惊慌地问道：
“是在什么时候？”美女回答说：“就在今天晚上。”滕生感到悲伤惶恐，实在不忍心分离。美女说：“我不是不想终身奉事郎君，永远让您快乐。但是限定的日期有限，不能超过。
如果再滞留人同，将会获得罪过，这不但对我有损害，对郎君也会带来不利。郎君难道没有听说过《青琐高义》中所写到的有关越娘的故事么？”滕生这才稍稍醒悟，但却十分悲伤感慨，彻夜不眠。等到山中寺庙的钟声敲响，水边村庄中的雄鸡啼唱，美女急忙起来与滕生告别，她脱下所佩戴的玉戒指系在滕生的衣带上，说：“以后见到戒指，不要忘记旧日的感情。”于是分别而离去但是仍然频频回头，很长时间才不见踪影。滕生大哭一场，无奈返回了居所。
第二天，滕生准备了酒肴，在芳华的墓前焚烧纸钱，作了一篇祭文悼念她。文章写道：
您生而淑美，出类超群。秉禀有仙圣般奇姿，接受了乾坤的秀气。容貌如花秀丽，品质似玉般纯朴。扬眉吐气时就能住进天上之金屋，穷途没路便埋骨路左之荒坟。托体与松楸共处，眼见着狐兔群奔。落花流水，断雨残云。中原多事，故国无君，感叹光阴如同过隙，眼见日月就像奔轮。然而精灵不泯，性识长存。不必依伏李少翁招魂奇术，自能返倩女之芳魂。伴随着玉匣骖鸾之扇，金泥簇蝶之裙。声泠泠是环翠响，香霭霭是兰荪薰。刚想要同欢以偕老，没奈何既合而复分！你像洛妃穿着凌波之袜远去，去参加王母瑶池宴请。走近看却什么也见不到，问讯她却没有回音。我惆怅后会无期，感伤前事与谁谈论！关锁着杨柳春风之院，紧闭住梨花夜雨之门。恩情中断天漠漠，哀怨缭结云昏昏。
音容杳杳见不到，心绪纷乱无法理。谨含哀而奉吊，希望你对此有感!呜呼哀哉，尚飨!从此以后，美女就断绝了踪影。滕生独自住在旅店里，就好像死了妻子一样。考试的日期已经迫近，滕生再也没有心思入院参加，就惆怅地回到了家乡。亲戚朋友问他缘故，滕生这才全部告诉他们，大家都感叹惊奇。滕生后来终身没有娶妻，到雁荡山去采草药，就再也没有回来。