杨过自幼就被郭靖夫妇抚养，跟大小武兄弟一样，作为郭芙的玩伴，一起生活在桃花岛，平时郭靖教武，黄蓉授文，其余的时间都是玩耍嬉戏的时间，几人年龄相差无几，又都是孩童心性。小打小闹也是常有的事情，杨过是因为父母双亡，流落江湖，才被碰巧出岛办事的郭靖夫妇看到，郭靖见到他，就想起那个误入歧途，最后害了自己的康弟，又得知他的母亲，当年那个善良果敢的穆家妹妹也因病去世了，可怜这么小的孩儿父母双亡，流落江湖，甚至连个名字都没有，心下大为怜惜，他对黄蓉说着''蓉儿，康弟固然有错，却也已经受到了惩罚，只是可怜了穆家妹妹了，不如我给这孩儿起个名儿吧''黄蓉点点头 ，表示同意，郭靖想了想说道''不如就叫他杨过吧，字改之，希望这孩儿将来不要学他爹，以后遇到事情，能够无则加勉，有则改之''又与黄蓉商议将他带回桃花岛，由夫妇二人养育教导，教授他文采武艺，盼他将来能够成为顶天立地的好男儿，成就一番作为，以便对的起他早逝的父亲母亲，杨过在岛上生活不久，郭靖夫妇又带回了另外两个小男孩，这是一对兄弟，哥哥叫武敦儒，弟弟换做武修文，他们俩本也算是出身武林名门，他们的父亲叫做武三通，是南帝一灯大师的座下弟子，只是可惜武三通为了替嫁入江南陆家庄的义女向赤练仙子李莫愁报仇，不慎被李莫愁用冰魄银针伤到，这冰魄银针是李莫愁的独家暗器，针上含有剧毒，极是厉害，武三通中毒后，他的妻子以命换命，用自己的性命救了武三通，武三通清醒后，接受不了爱妻为救自己而死的事实，神智失常，竟然抛下了两个年幼的儿子，自己跑掉了，这才被郭靖一并带回了桃花岛，就这样，杨过，大小武就陪着郭靖黄蓉的独生爱女郭芙一起在桃花岛上学文习武，玩耍嬉闹，几人天天都在一起学习打闹，杨过和大小武心里都很喜欢郭芙这个生的好看的小妹妹，比起杨过，大小武兄弟似乎更自信些，他们总喜欢围绕在郭芙的身边，听着她糯糯的唤着大武哥哥，小武哥哥，久而久之，三人的关系就更好一些，每每杨过看到郭芙撅着小嘴儿，让兄弟俩去给她摘这朵花，抓那只蝴蝶的，当得到自己想要的后，那比银铃儿还要清脆，比百灵鸟还有动听的笑声就会传遍整个桃花林，杨过的心里就会无比羡慕大小武兄弟，他也想去亲近郭芙，给她做这做那的，换她唤自己一声杨哥哥，可是杨过不敢亲近郭芙，他自卑，他知道自己父母双亡，无家可归，也不像大小武互相还有个同胞兄弟相扶持，他也知道郭芙生来就是天之骄女，她是那么的明艳朝气，杨过害怕会在郭芙的脸上看到同情可怜或者鄙夷，所以他不敢接近，只能远远的看着，而郭芙呢，从小生长在与世隔绝，如同世外桃源的桃花岛，父母娇惯，从不会将外面世界的阴暗，血腥，尔虞我诈说给她听，年幼的她不知道为什么这个新来的杨哥哥从不向大小武哥哥一陪她玩耍，陪她捉小鱼，捉蜻蜓，她觉得这个杨哥哥不喜欢她，为了这个还偷偷的哭过几场呢，杨过本以为自己的这一生就会这么无忧无虑的过下去，后来却发生了一些事情，郭靖无奈将他送到了终南山上的重阳宫去拜师学艺。　　在重阳宫，杨过饱受了欺凌，他常常会想起在桃花岛上的点点滴滴，他想起那个灿烂如朝霞的郭家妹妹，不知她是否还会记得他，随即又自嘲的认为，人家是堂堂的郭家大小姐，身边又有武氏兄弟大献殷勤，她又怎么会记得自己呢。　　后来他无奈逃出重阳宫，拜在了古墓派的小龙女门下，杨过初见小龙女时，只见得一个身披白色薄纱的少女，看起来约莫十六七岁的年纪，杨过觉得这世间最适合形容眼前这位少女的字就是白，她除了一头黑发之外，全身雪白，面容也是欺霜赛雪般的清丽脱俗，长相秀雅绝俗，神色间也是冷漠淡然，当真是冰清玉洁，却也是冷若冰霜，让人不知她是喜是怒，在杨过心中，小龙女是美的，美的像是姑射山中的雪莲花，但是比起小龙女不染尘埃的美丽，杨过心里更念念不忘的却是遥远的桃花岛上的那一位美的像是春日桃花的郭家妹妹，他想早日学好武功，早日下山去桃花岛找她，看她还记不记得自己了。