秦观方至郴州又移至横州编管，元符元年（1098年），移迁雷州编管。眼望离京师越来越远，归乡无期，秦观自赋挽词。此词道尽心中凄苦，叫人心生悲惋。 元符三年（1100年）哲宗驾崩，徽宗即位，向太后临朝。政坛局势变动，迁臣多被召回。秦观也复命宣德郎，放还横州。当年五月行至藤州，出游光华亭，索水欲饮，水至，笑视而卒。张文潜曾作《祭秦少游文》云：“呜呼！官不过正字，年不登下寿。间关忧患，横得骂诟。窜身瘴海，卒仆荒陋。”道尽了秦观坎坷一生，句句痛彻心扉。一代文人，命运竟是如此的坎坷曲折，最后竟死在荒蛮之地，令人无限感慨。

婚姻家庭
　　作者：陈雄 出自《公然走私的爱情》一书（河北大学出版社出版）
　　秦观的正妻叫徐文美，而非传说中的苏小妹。这是他自己在为岳父写的文章里交代的。他的岳父是高邮一位姓徐的富商，因为有点钱，捐了一个主簿的官当，生了三个女儿，分别叫徐文美、徐文英、徐文柔。秦观在《徐君主簿行状》一文末尾说：“徐君女三人，尝叹曰：子当读书，女必嫁士人。以文美妻余，如其志云。”
　　关于其妻就是点了一下名字而已，在秦观的诗文中提及不多。例如《临江仙》：
　　髻子偎人娇不整，眼儿失睡微重。寻思模样早心忪。断肠携手，何事太匆匆。
　　不忍残红犹在臂，翻疑梦里相逢。遥怜南埭上孤篷。夕阳流水，红满泪痕中。
　　再如《满庭芳·茶词》：
　　北苑研膏，方圭圆璧，名动万里京关。碎身粉骨，功合上凌烟。尊俎风流战胜，降春睡、开拓愁边。纤纤捧，香泉溅乳，金缕鹧鸪斑。 相如方病酒，一觞一咏，宾有群贤。便扶起灯前，醉玉颓山。搜揽胸中万卷，还倾动、三峡词源。归来晚，文君未寝，相对小妆残。
　　末句以相如文君来比喻秦观夫妇，说明两人感情还是很深厚的，但徐文美大概不是秦观最钟爱的女子。有人统计，秦观留传下来的四百多首诗词，约四分之一为“爱情诗”，而其中的主人公绝大多数是青楼歌女。钱钟书在《宋诗选注》的序里说秦观的诗是“公然走私的爱情”。《茹溪渔隐丛话》引《艺苑雌黄》说了秦观的一件风流事。秦观在绍兴的时候，由当地最高长官太守接待，住高级宾馆蓬莱阁。一日，在席上看中一个歌妓，于是赋《满庭芳》，开头一句是“山抹微云”，后来就是“销魂，当此际，香囊暗解，罗带轻分。漫赢得青楼，薄幸名存”了。此词流传甚广，苏轼曾戏称秦观为“山抹微云秦学士”。