“文化大革命”来了，他被遣返回寒亭河滩村。刚到乡里，那本《天文与农时》被红卫兵当作迷信书籍当场焚烧。这本栾来宗用40年心血创作的世界第一本也是唯一一本天文与天象结合的专著，瞬间被焚之一炬。40余年过去了，谈这事，栾巨庆还泪湿眼眶。

        栾巨庆带着“地主分子”帽子，被造反派批斗，他研究的观星测雨方法被批判为“封建迷信”资料被一次又一次地没收、烧毁……

        书没了，天还在，地还在，人还在。他凭记忆背诵记录了祖父那本《天文与农时》的一部分。

        1968年的一天，栾巨庆利用劳动间隙来到大队办公室，说：“明年(1969年)立夏前后可能发生连阴雨，小麦会发生严重的黄疸病，俺建议明年种低产早熟的小麦……”大队干部说：“住嘴！小麦还没有种就知道要生病，你不成神仙了！妖言惑众，破坏生产！以后不许装神弄鬼，只许老老实实改造！”

        大自然可不服从任何权势的意志，只是按着自己的规律把黄疸病加诸万亩高产晚熟的麦田，造成大减产。这次预报被造反派称为“瞎猜巧碰”。

        1970年春播前，他再次向大队预报，今年高粱秀穗季节干旱无雨，蚜虫会成灾，建议少种高粱或者早备农药，及早防治。但是，在那个年代，听从地主儿子的意见无疑是“立场问题”。

        结果，蚜虫吃掉了七成的高粱，连秸杆都烂掉了。只有栾巨庆所在的三小队悄悄按照栾巨庆的建议，及早喷洒农药治虫，获得了大丰收。三小队的秸杆都卖到二角一斤，比高梁都贵，一下子收入大增。但生产队的队长还不敢说是因为听了栾巨庆的建议。

        终于赢得鉴定书

        1973年，栾巨庆在南京面对众多的气象和天文专家的“挑刺”，答辩成功，南京大学为他让出一块立锥之地——允许他继续验证1973年的汛期预报。他住在南京郊区的一个亲戚家里。每天上午打短工维持生计，下午带着一身汗渍研究到深夜。

        南大气象系的金汉良讲师指导他验证了1953年到1972年的天气。结果，天气实况与行星效应区所预报方法显示的气候基本相符。他又做出了1973年我国四大流域的汛期预报，也与天气实况基本相符。