《图说》也吸取了阴阳五行家关于宇宙起源论的一些思想资料。《图说》云：“阴变阳合，而生水火本金土。正气顺布，四时行焉”，“五行之生也各一其性”，“二五之精，妙合而凝，乾道成男，坤道成女”等语都是从五行说中接过来的。

　　《图说》还吸取了道家和道教思想中的“无极”这一概念。如《图说》中的“无极而太极”和“无极之真”等。其中的“无极”成了他的宇宙起源论的主要范畴。“无极”一词，出于《老子》第二十八章：“常德不忒，复归于无极”。这个“无极”早在道教的《无极先天图》中就被使用并使之成为方士修炼的归宿点。此外，《图说》有“主静”、“无欲”等语，“无欲”一词出自《老子》第五十七章的“我无欲而民自朴”，“主静”一词出自《老子》第二十六章的“静为躁君”和第五十七章“不欲以静”。因此，《图说》中的“无极”这个概念和“无欲故静”这一命题，都是从道家与道教那里接过来的。