万历三年（1575）六月，汪道昆告老还乡，在歙县县城边上的太函山建园造庐，被徽州知府王京父聘为推官，理所当然成为徽州文坛大拿。一段时间之后，汪道昆组织成立了带有文学社性质的“白榆社”，邀请东南大儒屠龙等人来徽州讲学，也邀请好友戚继光来徽州游玩。性格狂狷风趣的汪道昆还经常带着一些徽州名士，沿新安江东下走马苏杭探访老友，五次去太仓昆山拜访江南文坛领袖王世贞。王世贞和汪道昆不仅是好友，还都是嘉靖二十六年（1547）的进士。同年之中，除了王世贞，还有后来成为“明朝第一相”的张居正。
齐云山五老峰
齐云之约
王世贞家族显赫，成化年间以后共“一门八进士”，包括王世贞的祖父王倬、叔祖王侨、父亲王忬、弟弟王世懋等。《明史》对王世贞的评价也很高：“独操柄二十年。才最高，地望最显，声华意气笼盖海内。一时士大夫及山人、词客、衲子、羽流，莫不奔走门下。片言褒赏，声价骤起。”严嵩主政之时，王世贞的父亲王忬任兵部左侍郎兼右都御史，总督蓟辽军务，因兵败被杀。王世贞兄弟以为是严嵩父子所为，对二人切齿痛恨。严嵩被放逐、儿子严世蕃被处决后，王氏兄弟以重金购得严世蕃身上的一块肉，将之炙烤后祭奠父亲灵牌。
隆庆元年（1567），朝廷为王忬平反昭雪，却没有追授，王世贞不太满意，自此心灰意懒。万历十三年（1585），朝廷考虑到王世贞的威望和声名，先后任命王世贞为应天府尹和留都南京刑部右侍郎，可王世贞仍旧称病不上朝。朝廷无奈，只好同意王世贞在老家苏州太仓“在籍调理”。
汪道昆每次去太仓探望王世贞，都真诚地邀请王世贞去徽州，重点推介齐云山和黄山，王世贞每次都客气地应允，表示一定抽空去徽州看看。王世贞于徽州耳熟能详，他的几个收藏铁杆，比如詹景凤、吴治等都是徽州人，言谈之际常提到徽州一些物事，让王世贞很感兴趣。万历十四年（1586），汪道昆携二弟与好友胡应麟一起到访太仓弇山园，与王世贞谈天说地谈古论今，话题涉及王家珍藏的钟繇《荐季直表》帖，汪道昆请求王世贞取出鉴赏。王世贞黯然神伤：“是月以催科不办，持质诸檇李项氏矣。”意思是为了死去的父亲获得昭雪，将这幅珍贵的字画拿去打点朝廷上下了。汪道昆见状，再一次邀约王世贞去徽州散散心，王世贞爽快地答应第二年秋天一定到访徽州，此谓“齐云之约”。次年春天到来之际，汪道昆心心念念，又派他的侄子赶到太仓，敲定王世贞赴徽州的行程。王世贞再次表态，待金秋九月，一定带诸多文坛好友组团去徽州。
消息传到徽州后，上上下下都很期盼，有人将这一次即将来临的盛事称为“司马会”。此说法有双层意思：一是汪道昆曾任明朝兵部右侍郎，王世贞时任留都南京兵部右侍郎，都可称“司马”；二是两人皆为文坛重量级人物，尤其是王世贞，德高望重声名远扬，称为“二司马”，是以司马相如和司马迁来作比喻。为了迎接王世贞的到来，汪道昆及“白榆社”成员制订了相应的接待计划，还找了当地富商进行赞助。相关消息漫天飞舞之后，王世贞的弟弟、时任南京太常寺太仆的王世懋写信向其兄求证，表示了自己的担忧。王世贞回信确证属实，解释说自己只是想带一两个书童回访，没想搞大聚会，对汪道昆的高调“意殊不乐”，表明已经写信制止。
在此之后，“司马会”偃旗息鼓，那段时间“两司马”的诗文无相关记述。跟“两司马”关系较近的朋友，也没有在文献和诗文中提及，汪道昆在徽州的文友潘之恒、梅膺祚等，诗文中也没有“留痕”。尤其是潘之恒，后期曾著皇皇巨作《黄海》和《亘史》，收录了历代名人与徽州黄山有关的文献和轶事，可是竟无一字提及“司马会”的相关情况。以潘之恒的性格，若年少时参加此番聚会，一定会大书特书才是。“二司马”到底有没有聚首，一下子变得扑朔迷离起来。
“司马会”之谜
最早详细描述“司马会”的，是清初旅居东南的歙县籍书商兼作家张潮。张潮在《歙问小引》，也就是《歙问》序言中写道：“王世贞先生来游黄山时，三吴、两浙诸宾客从游者百余人，大都各擅一技，世鲜有能敌之者，欲以傲于吾歙。邑中汪南溟先生闻其至，以黄山主人自任，名园数处，俾吴来者，各各散处其中，每一客，必一二主人为馆伴。主悉邑人，不外求而足，大约各称其技：以书家敌书家，以画家敌画家，以至琴、弈、篆刻、堪舆、星相、投壶、蹴鞠、剑槊、歌吹之属无一不备。与之谈，则酬酢纷纭，如黄河之水注而不竭。与之角技，宾时或屈于主，弇州大称赏而去。”意思是王世贞带领江南众文人到达徽州后，与以汪道昆为首的当地文人在书、画、琴等各种技艺方面相互比拼，三吴宾客甘拜下风……此后的记载大同小异，说王世贞游徽州，随行的有江浙等地文人百余人，在徽州逗留数月。汪道昆以主人身份接待，安排住在各处著名馆园，每一位宾客都安排一两位徽州同好者陪伴……现场情景，描述得有鼻子有眼。民初之时许承尧所著的《歙事闲谭》，也转引了光绪年间汪印苔在《歙浦馀辉录》中的说法：王弇州游歙，过千秋里，访汪伯玉，淹留数月。过潜溪，宿故友汪如玉家，赠以诗。又为如玉兄珩作传。所有的场景和诗文，都在确指这场“司马会”如约在徽州举行。
王世贞是否应汪道昆之约去了徽州？仔细研究那些言之凿凿的地方史志，会发现这些描述中的蹊跷——清初张潮作《歙问小引》一文，距万历年间已有一百余年。对于这一段轶事的来源，张潮明确是“其为故老所传闻者”，即此说法来源于歙地民间传说，也就是说，这些描述是口口相传，极可能是小说家言。别人说得活灵活现，两位“当事人”王世贞和汪道昆却一字未提。细细想来，只有两种可能：一是王世贞根本没有去徽州，“司马会”取消，自然没有什么可写的了。二是王世贞和汪道昆着实有“难言之隐”，刻意隐瞒了“司马会”的相关内容，其中原因，要么是怕朝廷问责，要么是见面后发生了不愉快，以致都不肯提及此事。怕朝廷问责，是有可能的，不是汪道昆怕，而是王世贞怕。王世贞虽然称病在家，可毕竟是在任的南京留都高官，仕途未卜，对于相关规矩和影响，还是十分在意的。至于许承尧的《歙事闲谭》所撰，依据是汪印苔《歙浦馀辉录》，时间相隔太久，不足为据。
王世贞到底有没有来徽州？只要查一下《弇州山人四部稿》，便可获得答案。汪道昆侄子赴太仓盛邀王世贞赴徽州之时，王世贞正好收到朝廷对父亲的昭雪文告：获朝廷封赠，御赐祭葬。王世贞很不满意，上书辩明要求朝廷赐父母合葬，且要求对父亲进行追封。到了九月，王世贞接到朝廷文书：同意王世贞父母合祭，赠王忬“兵部尚书”，拨四百两公帑为安葬费，派苏州知府为特使前往祭奠。王世贞百感交集，压在心头的一块大石头终于得以推开。亡父祭葬，王世贞必定亲自主持，因时间与“司马会”冲突，徽州之行想必只能取消。王世贞专门修书一封，对汪道昆作了解释：“向期于八九月叩玄亭、陟黄山、礼白岳，辖且脂矣，而先君荷上恩得从六卿例祭葬，有司定于彼时成礼，纷纭至冬，畏寒未能出门。笃惭巨卿，捷逊叔夜。计老丈闻之，当为于邑也。”由信函可以看出，王世贞爽约“司马会”，的确是忙于父亲追封和安葬一事。原定九月的徽州“司马会”，明显时机不对。这其中，还可能有一个潜在的因素，就是王世贞对于汪道昆的做派，还是有些不放心——这个人太张扬了，桀骜不驯，不拘小节，玩世不恭，弄得不好会坏事。沈德符在《万历野获编》中曾这样评价张居正、王世贞、汪道昆三位“同年”：“弇州（王世贞）甚不服之，尝云予心服江陵（张居正）之功，而不敢言，以世所曹恶也；予心诽太函（汪道昆）之文，而口不敢言，以世所曹好也。”这一段话的意思，是说王世贞心里佩服张居正的功劳，却不敢说出来，因为世人都憎恶这个人；心里排斥汪道昆的文章，却不敢说出来，是因为世人对他的文章都在追捧。由此可见，王世贞对一切心知肚明，只是喜怒不形于色罢了。
王世贞在安葬了父亲之后，也没有去徽州，而是赴留都南京就任兵部右侍郎了。过了一年多，又升任留都南京刑部尚书。重任在肩之时，更无暇去徽州了，只是在心里对徽州黄山存有歉疚。万历十七年（1589），王世贞再次写信与汪道昆约定：明年致仕之后，一定前往徽州，“所食言者，有如皦日”。此语典出《诗经·王风·大车》：“穀则异室，死则同穴；谓予不信，有如皦日。”意为指着天上的太阳发誓。第二年初春，王世贞辞官获批，归乡心切，迫不及待赶回故里太仓。没想到此后身体江河日下，一直无法出门。到了十一月，退休半年的王世贞溘然长逝。黄山白岳，自此成为这位江南巨擘永远的遗憾。