經過姚黃的開解，楊過的心情不再難受。對於郭靖和黃蓉，他不恨，但卻有着怨。客觀地知道兩人沒有錯，但自己的父親畢竟因爲他們而死，不可能不對他們有所芥蒂。特別是剛見面時，黃蓉隱約的防備讓楊過對她的印象更是大打折扣。不過雖然不喜歡黃蓉，楊過還是欽佩郭靖爲國爲民的情操。若非楊康的事情，楊過已經將郭靖當成他的偶像了。“俠之大者，爲國爲民”，深深刻在了楊過的心中。
自這天以後，生活再也恢復不了以往的平靜。黃蓉派遣的名爲照顧實爲監視的丐幫子弟讓三個人頗爲礙眼，最終，心煩的三個人決定離開生活了數年的窯洞。
“我們去哪裡？”楊過和小包子都沒有目標。
‘先去塞外玩玩，擺脫那些盯梢的蒼蠅。’姚黃早已經有了目標，靈鷲宮！說老實話，姚黃對逍遙派的那些武功可是垂涎三尺，雖然比不上《劍三》的武功高杆，但比起江湖中現有的武功來說可是高明瞭許多。就算是讓天下人爭奪的《九陰真經》，在姚黃看來也及不上《小無相功》、《北冥神功》和《八荒**唯我獨尊功》，練了這三種功夫能夠永保青春，《九陰真經》能夠嗎？
“好！”楊過和小包子連連點頭，他們對那些無孔不入的丐幫弟子感到厭煩，可是丐幫弟子遍佈整個中原，他們到哪裡都擺脫不了他們，’姚黃的提議讓他們眼前一亮，塞外可不是丐幫的地盤。
三個人簡單地收拾了一下，當天晚上趁着天黑，擺脫了丐幫的人，離開了住了數年的窯洞。爲了怕他們離開後有人進入搞破壞，小包子將洞外的陣法重新佈置了一番，擋不住黃藥師這個陣法大師，但擋住黃蓉這個囫圇吞棗只懂大概的半調子不成問題。
三個人的輕功很厲害，在江湖中，除了老一輩幾個宗師級人物，就連郭靖也比不上他們。《躡雲逐月》已經被三個人練到了第三重，已經能夠短暫地飛上半空，用來趕路的話，那速度可以用閃電輕風來形容。只一個晚上，三個人就離開了江南境界。即便丐幫想要找他們，也想不到他們已經離開嘉興這麼遠了吧。
一路西行，最高興的是小包子，這孩子只在嘉興城中玩過，哪見識過這麼多不同的風土人情？楊過也是如此，他從小生長在江南，從來不知道江南以外地界的風俗是這麼得不同。兩個人被路上的風景和風俗吸引，行進的速度慢下來。姚黃也不催促，任少年和包子痛痛快快地玩樂，並時不時與丐幫的人玩一玩貓捉老鼠的遊戲，讓他們無法掌握三個人的確切蹤跡。
這一天，到了湖南境界，三個人商量着去參觀一下曾經叱吒荊襄的鐵掌幫遺址鐵掌峰。三個人在鐵掌峰中指峰第二指節處發現了鐵掌幫歷代幫主屍骨所在的山洞，楊過和小包子從《射鵰英雄傳》的故事中知道了上官劍南的事蹟，出於對這位一心爲國的英雄幫主的尊敬，三個人合力用一塊巨石封住了洞口，不讓人打擾他們的安寧。
下山的路上，他們遇到了黃藥師，他的身邊帶着大約三十多歲的女子，傻兮兮的，姚黃知道這就是傻姑，難爲黃藥師竟然將傻姑帶在身邊照顧，挺有耐心的。
“你們怎麼跑到荊襄來了？不是說你們師傅要你們在嘉興等他嗎？”看到三個孩子，黃藥師疑惑地問道。
“還不是你女兒！”楊過不喜歡黃蓉，對黃藥師也沒有好氣，“忌憚我的身份，表面上裝做大方地讓丐幫照顧我們，實際就是監視，嚴重妨礙了我們的生活。我們不得不離開嘉興。”
黃藥師問，“你知道自己的身世了？”心中不免有點兒擔心，這個少年不會找自己的女兒女婿報仇吧？他可是很欣賞這個少年，但爲了女兒的安危，他說不得要對不起少年了。
楊過哼了一聲道，“放心，我不會找你女兒女婿報仇。我爹的死可以說是自作自受，上一代的恩怨已經結束，我可不想自討苦吃。”
黃藥師聞言不由讚歎少年心胸豁達，“蓉兒是以小人之心度君子之腹了，她不如你。”
楊過再次哼了一聲，傲驕地扭頭望天。
黃藥師失笑，問姚黃和小包子，“你們準備去哪裡？”
“我們要去塞外，姐姐說那裡沒有叫花子騷擾我們。”小包子對這個風采脫俗的爺爺印象很好，黃藥師一問，他就說了實話。
“塞外嗎？正好我也想去見識一下大漠孤煙的景色，不如一起吧？”
楊過想要拒絕，姚黃卻連忙答應了。
“黃兒，爲什麼要和他一起走啊？”楊過小聲地抱怨。
姚黃笑，‘黃前輩是好意。他擔心我們行走江湖的經驗不足，所以想跟在我們身邊照顧我們。’
“憑我們的身手，用得着他照顧嗎？”
姚黃繼續笑，‘黃前輩和黃蓉不一樣，等你和他熟悉了，你會覺得認識黃前輩是你的幸運。’
“我纔不會這麼覺得。”
‘拭目以待吧！’
姚黃以前看《射鵰英雄傳》的時候最喜歡的就是狂傲不羈、重情重義、瀟灑寫意，正中帶有七分邪，邪中帶有三分正的黃藥師，能夠與曾經的偶像近距離接觸，姚黃可是求之不得。而且，她還有一個小心思，黃藥師與逍遙子同樣是文武雙全、無所不能、驚才絕豔的人物，桃花島的武功也與逍遙派的武功有許多相同之處，何不讓黃藥師學會逍遙派的武功，成爲逍遙子的直系傳承者呢？
黃藥師是不會讓粉絲失望的，果然沒用了兩天，楊過對他的印象就有了一百八十度大轉彎。黃藥師的博學讓楊過佩服不已，而且他發覺自己與黃藥師性情十分相投，兩個人盡然成了忘年交。
黃藥師更加喜歡三個孩子了，不說楊過，姚黃和小包子也很招他喜歡。一路上，黃藥師與楊過談論書法丹青，給姚黃指點醫術，教導小包子陰陽五行和奇門遁甲，時間過得飛快，一行人已然來到了天山腳下。
“小丫頭，你有目的地引導我們來到天山，不會是爲了採天山雪蓮吧？”黃藥師用看穿一切的眼神注視着姚黃，調笑着說道。
姚黃呵呵一笑，果然瞞不過黃藥師，那她就直說了：‘不是採天山雪蓮。我師傅提到過，天山上隱藏着一個避世的門派，是北宋年間建立的，現在有可能還存在也有可能沒有弟子流傳了。我想着到天山去尋找一下這個門派的蹤跡。’
“哦？是什麼門派？”黃藥師好奇地問，見識了藏劍山莊的神秘後，他對隱世門派感興趣極了。
‘逍遙派。’
“逍遙派？”黃藥師眉頭皺了皺，似乎想起了什麼。
‘您聽過這個名字？’
“不止聽過，我桃花島與逍遙派頗有幾分淵源。”
‘？？’
“我年少的時候遊覽各地，曾經在河南的擂鼓山發現一個珍瓏棋局。我解開珍瓏棋局後發現一個隱秘的山洞，山洞裡面藏着許多藏書，上至天文、下至地理、詩詞歌賦、書畫琴棋、八卦算數、醫卜星象、陰陽五行、奇門遁甲、農田水利、商經兵法……還有武功。我在山洞中學習了整整五年才造就了日後的黃藥師。而山洞的主人則自稱是逍遙派門下蘇星河。”
‘聰辯先生蘇星河？原來他還留下了傳承。’姚黃非常開心，這樣黃藥師接受逍遙派的傳承就更理所當然了，‘珍瓏棋局高明無比，當年可是難倒了無數江湖中的豪傑俊才，前輩能夠破解，才智見識非普通人能及。’
姚黃的馬p讓黃藥師非常受用，破解珍瓏棋局乃他平生最得意的一件事情。珍瓏棋局玄奧無比，局中“金雞獨立”、“老鼠偷油”以及“倒脫靴”（以上全部爲圍棋術語）等妙招環環相扣，自己研究了半年，差點走火入魔，最後壯士斷腕、置之死地而後生才破解了這一棋局。黃藥師縱然驕傲，對於創立了珍瓏棋局的人佩服不已，不過，他把蘇星河當成了創立棋局的人。
“又是你師傅告訴你的嗎？那蘇星河是怎樣的人，你來講講。”黃藥師問道。
‘聰辯先生蘇星河，是聾啞門的掌門人，聰辯即是聾啞，因爲耳雖聾而心聰，口雖啞而理辯。但其實所謂聾啞門，不過是掩人耳目。蘇星河是逍遙派祖師逍遙子的徒孫，逍遙子收了三個徒弟無崖子、李秋水和天山童姥……爲了收到一個天資聰穎、英俊瀟灑的弟子，以便將畢生功力傳給他，讓他爲師報仇，清除丁春秋這個叛徒，無崖子創立了珍瓏棋局，結果太高深了，幾十年來無人能破，而最後一次卻被一個相貌醜陋不懂下棋的小和尚誤打誤撞所破……’
姚黃由蘇星河說到了逍遙派，由逍遙派說到珍瓏棋局和虛竹，然後說到蕭峰與段譽，一口氣將整個《天龍八部》的故事講了出來。黃藥師三人聽得如癡如醉，百多年前的江湖風雲讓他們嚮往不已。