杨官璘访越归来后，一场令神州大地变色的“文革”政治风云已席卷而起，全国各地的弈林高手不由自主地卷入其中。１９６６年初，报上发表批判《三家村》的文章，接着又批判《二月提纲》，火药味很浓。后来杨官璘看到“５·１６”通知，说要开展一场无产阶级文化大革命，要打倒党内走资本主义道路的当权派。另外，又说有一条又粗又黑的“文艺黑线”，从中央到地方统治着文化艺术的各个部门……于是，各单位、各部门都贴满了大字报，街上也到处都贴着大字报。
1966年6月中旬的一天，广州二沙头来了一队广东工学院的红卫兵，他们雄纠纠气昂昂地来到广州棋艺社门口，贴出一张大字报，勒令棋社将这“充满帝王将相的封建意识之地”的招牌立即撤除。棋艺社顶不住压力，只好上报市体委，请求他们予以保护。谁知体委也无能为力，无法保住这块招牌，只好将其收了。
“黑云压城城欲摧”。杨官璘的心沉黯到了极点。刚打好基础的省棋队惨遭改散，棋队队员被分配到工厂等单位，这对广东的象棋事业发展是个破坏性的打击。杨官璘感觉就像自己的孩子被人抢了去，撕心裂肺地痛。他把自己关在屋子里，深居简出，以拆棋来摆脱心中的苦闷。
1966年的春节总算有惊无险地过去了，时间老人的脚步已跨进1967年。然而全国的政治形势越来越紧张。在广州街头，出现了红卫兵押着戴高帽、挂黑牌游街的人，而且越来越多。杨官璘看在眼里，暗忖：照这种形势下去，难保哪一天不轮到自己的头上！杨官璘如履薄冰，惶惶不可终日。他深居简出，想以此避开一切不必要的麻烦。但“是祸躲不过”，“造反派”还是找上了《象棋》月刊社，声言要砸烂这个封、资、修的黑窝。他们翻出了一大批积存的月刊，一看之下怒火冲天，大骂道：“混蛋！有纸不印‘最高指示’，却用来印这些玩意，真是反动透顶！”随即贴出一张大字报：
“我们工人辛辛苦苦生产出来的纸浆，被杨官璘、陈松顺用来印车马炮，不印毛主席语录，应送去劳改！”当即勒令《象棋》月刊立即停刊，否则便砸烂狗头！
经过这次抄查，月刊社历年积累的资料被洗劫一空，杨官璘、陈松顺心疼得直掉泪，可束手无策。
随着《象棋》月刊社被封闭，广州棋社、象棋表演队也相继被查抄、解散，麾集旗下的一些棋手也风星云散，各奔东西，广东的象棋事业招致致命的摧残。
《象棋》月刊被停封，对杨官璘、陈松顺也是个惨重的打击。《象棋》月刊成立于1956年，是当时全国唯一的棋艺杂志。当时广州作为棋艺名城，杨、陈二位大师更是名噪全国，但还是没能挽救广东象棋的命运，被戴上“封、资、修的产物”，打进了冷宫。
杨官璘作为《象棋》月刊的主编，造反派们自然不会轻易放过他，于是喊出了“打倒反动学术权威”的口号，还揪出了一段历史陈账：杨官璘要用象棋助台湾反攻大陆！
这“莫须有”的罪名令杨官璘啼笑皆非。
这里面有一段故事。
在五十年代初期，杨官璘在广州行走江湖，以棋谋生，一日与一江湖棋士相遇，二人交手，杨官璘连将13军，吃了对方12颗子，因此杨官璘对这局棋记忆犹深，后来在《象棋》月刊上将这局棋发表了出来，并起了一个名字，叫做“十三将军吃十二子”，对每一步棋都作了详尽的说明和阐述。该局发表后，在棋迷中产生了较大的反响，一些棋迷纷纷写信给杨官璘，进行切磋探讨，这完全是一场棋艺的交流。谁知到了“文革小将”这里，竟成了杨官璘用象棋串通台湾的“十三将”反攻大陆，这怎不令杨官璘啼笑皆非？但他处之泰然，相信清者自清，浊者自浊。
红卫兵小将们查不出“十三将吃十二子”有什么“通敌”之实，只好又查杨官璘的社会关系。他们断定：杨官璘四处下棋，特别是经常出入香港，结交一些三教九流的人，里面肯定有暗藏的美蒋特务，他们要杨官璘列出与自己有过交往人员的名单。杨官璘说道：我六岁就开始下棋，不知道有多少对手，我哪记得住哦！说什么也不肯写。造反派无奈，就查杨官璘与全国棋迷的来信，他们得出这样一个奇怪的算术题：杨官璘与读者的约一万封来往信件，根据百分之九十五是好人、百分之五是坏人的分析法，那么至少同500个坏人通过信！杨官璘分辩道：几年来我给读者回信邮资就花费了1000多元。我这样做，是全心全意地为人民服务！为人民服务有错吗？
造反派在信件里也查不出什么料子，只好放弃了杨官璘，打自己的派仗去了。但 “反动学术权威”这顶帽子还是扣在了杨官璘的头上。1969年，他和老搭档陈松顺一道，“发配”到广州郊区九佛的“五·七干校”劳动改造。红卫兵给他的定性是：死不认错性质顽固的“老古董”！
九佛农场干校是广州市文化局办的一所干校，全市文化系统各单位都集中到干校去。在干校，每天都是学习、劳动。
杨官璘与陈松顺被安排去放牛，披蓑戴笠地当起了“牧童”，他们再也没有重登棋坛之想了。?
杨官璘被这场突如其来的政治风暴莫明其妙地卷入其中，这给家人带来了巨大的压力。
杨官璘共生有三女三男，长女杨金凤，二女杨云清，三女杨丽珍；长子杨绍清，次子杨健明，三子杨子平。按中国人多子多福的传统家庭伦理，杨官璘是个温馨幸福之家。
杨官璘的大女儿品学兼优，师范毕业后在一所中学教书，是学校的重要培养对像。1967年，杨官璘被加上莫须有的罪名，下放到干校“改造”时，他的大女儿很想不开，她一向认为父亲是优秀党员, 自己是“红五类”出身为荣, 怎么突然变成了“黑五类”？父亲要到干校“改造”？她觉得再也在学生面前抬起头来, 后来杨金凤不幸早逝。
大女儿的去世给了杨官璘极其惨重的打击，他痛不欲生，可无法挽回爱女的生命。然而痛苦还远不止这些，他的大儿子杨绍清与一个女子相爱，可对方的家庭成份是富农，杨绍清怕自己的这场爱情给家庭带来更大的不测，于是将这份感情深深埋在心里，以至抑郁成疾，终生未娶。
二女儿杨云清年仅18岁,就随上山下乡的大潮到中山当了知青。
“你去吧！”杨官璘支持女儿上山下乡劳动，“越是艰苦的地方越能锻炼人。”在知情大返城的年代，杨云清也想回广州，杨官璘语重心长的对女儿说，你已经在那里结了婚，就安心留在中山吧。
杨云清后来落户中山。
二儿子杨健明一直在父母身边长大。杨官璘晚年时期几次应邀回家乡, 均由他陪伴照顾。2007年, 杨健明遵照父亲嘱咐, 配合家乡镇府打造象棋品牌, 做了一些工作。在杨官璘逝世后，杨健明提前内退, 承父遗志，用了近一年时间, 整理编辑出版了父亲的遗著《杨官璘象棋新编》，其中杨官璘的独家秘技“飞刀局”首次亮相，引起棋坛极大关注，从而受到海内外广大棋迷的追捧！
小女儿杨丽珍活泼开朗。早年，她参加广州市象棋大赛，曾获得青少年组第四名。那时,杨官璘很想让女儿走专业象棋之路，但终因在那个浮燥的年代没有学下去，后在广东省商业厅幼儿园当了一名老师。1980年，杨丽珍荣获广州市体育运动委员会颁发的“中国象棋三级裁判证书”。
小儿子杨子平自小颇有父风，杨官璘也对他寄予厚望。在杨官璘的精心栽培下，杨子平经过层层筛选，曾一度进入了广东象棋队，但由于种种原因，他最终转业了，到东莞下海经商。但杨子平一直无法割舍对象棋的情缘，曾获得过东莞市象棋大赛的冠军，现任东莞市象棋协会会长, 为东莞市开展象棋活动做些工作。——此系后话。
杨官璘“下放”的九佛干校所在地是个雷区，遇上雷雨天气，强烈的电光从窗缝门缝射入宿舍，十分恐怖。听说附近农村还有人被雷电死。当白天遇上雷雨，有些女同志不敢去饭堂打饭。杨官璘比较胆大，敢冒着雷电去饭堂，还边走边鼓励那些女同志。
杨官璘生性狷介，大有魏晋古人之风。他的一些作为，常被人传为“笑谈”。
一天晚上，干校有人找杨官璘借手电筒，杨官璘把电池退了出来，把一个光光的电筒给了此人。来人被弄得莫名其妙。杨官璘却一本正经地说道：“你找我借电筒，没借电池啊！”这人啼笑皆非，只好尴尬地离去。多年后有人问起这件事，杨官璘说：“当时电池是配的。那人要把电池拿回家自己用，揩别人的油。我对这个人印象一直不好，便故意作弄他。”
杨官璘的正直在干校也是人所共知，其精打细算的长处也被干校的领导发现了，于是常被分派去办大字报专栏。他能用一点点糨糊贴牢一份偌大的大字报。干校每到分物品，领导便安排杨官璘分东西，在没有磅秤的情况下，他能把200斤猪肉分切成200份，也能把250斤砂糖分成330堆，堆堆相似。杨官璘极为公道，他每每将物品均匀地分成堆后，便对大家说：“大家随便挑，最后不要的就是我的。”从来没有一次“近水楼台先得月”！
杨官璘生性谨慎，但也有幽默的一面。一天晚上，他与陈松顺放牛回来，二人聊了一会天后，杨官璘便去冲凉。这时隔壁的女澡堂里有人唱起山歌，杨官璘一时性起，竟扯开嗓子与之对唱起来：
“日 头 日 出 正 正 高 ,
游 鱼 岗 上 把 泥 挑 ,
莫 话 阿 哥 年 纪 小 ,
坚 决 响 应 党 号 召 ,
创 造 奇 迹 就 系 在 今 朝 。”
一时间澡堂内外山歌满天飞。众人听着杨官璘一口的客家腔，无不捧腹大笑。杨官璘却毫不以为意，自得其乐。
对完山歌，杨官璘意犹未尽，又借着月光搓洗衣裳，嘴里还在轻声唱个不停。无意间，他发现洗澡房门前有一块东西在闪光，心下好奇，走过去一看，原来是块手表。
在二十世纪六十年代，手表绝对是个稀罕物，杨官璘毫不心动，回去就交给了某军管干部。这个干部一时贪心，竟据为已有了。后来杨官璘得知这块表是一位体操教练的，便告诉了此事。体操教练喜出外望，忙去找那位军管干部要手表，可那位干部说什么也不肯承认。慑于权势，体操教练深感无奈，只好悻悻作罢。杨官璘知道后，心中甚为不平，盘恒了一番，终于心生一计，有了对策。
一天早上，队伍集合去劳动，待那位军管干部训完话后，杨官璘站出来指着那个体操教练“骂”道：你这个家伙，竟敢诬陷军代表不还你手表？这样指桑骂槐，那个军代表登时脸如血喷，恨不得找个地缝钻进去。他心里有鬼，自知瞒不过去，只好将那块手表还给了体操教练。
在干校，几乎不敢有什么文娱活动，更不能下象棋了。杨官璘只好偷偷地闭门点阅棋谱，在夜深人静时拆解棋局，甚至在走路的时候下“闭目棋”。
后来杨官璘和陈松顺分配在一起放牛，于是这对老搭档划地为盘，以泥丸当棋，席天幕地的杀得不亦乐乎，这多少给二人苦闷的心灵带来一些抚慰。
杨官璘唯恐再惹上飞来横祸，每次接到来信，他都第一时间先给干校领导过目，然后再自己看。陈松顺问他为什么这么做？杨官璘说道：这样做让领导无话可说。如果是我自己先看，万一有人说是什么五类敌特分子给我来的信，那岂不是百口难辩？！二人相对苦笑无言。
1970年国庆节，干校不放假，只在校内安排一些文体活动以示庆祝。其中有一项是象棋表演。这天，以礼堂作棋坛，挂起大棋盘，由杨官璘作台主，闭目对付三人联队。联队由广州杂技团表演顶大缸的青年演员杨纲和两名文化局的干部组成。
是役杨纲先手，他以中炮开局，杨官璘则还以顺炮，只见杨官璘起横车，平四路，骑河吃象发兵。三人联队则卸中炮，起象逐车。没想到杨官璘没有邂车而是上马。联队初以为杨官璘有什么高招，如是商量了一番，最后确定是杨官璘闭目走错了棋，杨纲于是立即飞象吃车。杨官璘白丢一车后，虽努力走完全局，但还是败于联队之手。
还有一次，部队拉练经过干校，部队领导请杨官璘为战士们去表演。杨官璘大名鼎鼎，部队首长又怕有政治麻烦，于是便和杨官璘商量，请他改一下名，以“杨亦武”身份出现。杨官璘毫不在意，欣然说道：“没关系！能为子弟兵表演，这是我的荣幸！”部队首长深受感动，连声说想不到蜚声海内外的大师如此平易近人，真是难得！
1971年初，杨官璘和陈松顺接到文化局专案组通知，要向专案组作检查，检查包括历史部分和执行“文艺黑线”的情况。二人把检查稿先送给专案组审阅，专案组看了以后，对他们说：“历史部分不用检查了，那是由组织决定的，不用你负责，你们只检查执行‘文艺黑线’的情况就可以了。”于是二人就着重检查执行“文艺黑线”的情况，二人不到一个小时就讲完了。专案组有些人听了以后觉得不满足和不理解，他们说：“审查了几年，只检查了大半个钟头就讲完了，原来只是执行‘文艺黑线’！”
一天，极少出入戏院的杨官璘突然出人意料地买了一叠《英雄儿女》的电影票，请各位亲戚朋友和熟悉的弈林名士务必到现场观看。众人不明就里，他解释说，这个片子里面有一个军长和政委下棋的镜头，这是一个不寻常的信号——意味着被禁锢了象棋即将解脱！
１９７２年，干校各个连队，即文化局下属各单位都离开干校返回广州，干校快结束了，陈松顺比杨官璘先调回广州，杨官璘的妻子罗氏知道这消息后，十分担心与丈夫的安危，可又无可奈何，只是日夜期盼他能早日释放回广州。
杨官璘从干校出来后，立即写信给国家体委，建议恢复象棋项目，同时写了几十封内容相同的信，发寄各省、市的弈林人士，呼吁大家同向国家体委写信询问是否恢复棋赛和象棋队伍。
杨官璘的义举得到了同行们的热烈响应和支持，于是纷纷上书国家体委。中国象棋又迎来了一线希望！