方以智一生正当明清交替之际，时局动荡，政权更迭频频，使得他个人的际遇也十分坎坷 。一生可分三个时期 。早期从青年时代到三十三岁，由于仰仗祖上的余荫，尚能过着“衣纨縠，饰驺骑，鸣笳叠吹，闲雅甚都”的富贵文人的生活 。中期自甲申从北京逃返南都，又经浙江，福建到两广，从三十四岁到四十二岁，艰苦的十几年流亡在他的思想上打下了深刻的烙印 。晚年从顺治九年(1652年)北归，到康熙十年(1671年)六十一岁时，病殁于赣江上万安城外的惶恐滩 。这时期潜心学术，写出了大量理论著作 。在对现实失望后，放弃了少年时的经世抱负，出家后，虽然看似逍遥法外，但仍不忘救世，讲学宏道，交朋纳友 。
早期
从青年时代到崇祯十七年(1644年)
方以智青年时代活动地点主要是南京和桐城，也间或经过江浙各地，最后去北京 。
桐城泽社的活动 。当崇祯初年，方以智在他父亲所建的城郊泽园中，成立“泽社” 。社中有方的堂叔方文(字尔止)，妹夫孙临(字克咸)，以及钱秉镫(又名澄之)，周岐(字农父)等人 。方或赋诗作文，或读 经、史，又关心“万物之理”，随时札记，积累了丰富知识，奠定了学术基础 。方的两位业师，一是白瑜(字瑕仲)，一是江西金溪人王宣(字化卿，号虚舟) 。当时王已七十余岁，所著《物理学》对方以智以后写作《物理小识》多有启发 。泽社中一群有朝气的青少年，往往慷慨酣歌，论天下大事 。方自述说 。“处泽园，好悲歌……好言当世之务，言之辄慷慨不能自止 。”(《孙武公集序》)这个团体与当时东南一带的会社一样，不仅研究文学，也带上政治色彩 。
那时，桐城阮大铖，是魏忠贤阉党的余党，崇祯初即被列入“逆案”名单 。方的同学钱澄之曾加入阮大铖退居养晦时所创建的江社，经方以智劝阻后，又退出江社 。《钱田间年谱》崇祯五年(公元1632年)条下记载了这件事：“方密之吴游回，与府君(即钱澄之)言曰：吴下事与朝局相表里，先辨气类，凡阉党皆在所摈 。吾辈奈何奉为盟主?曷早自异诸!“吴下事”指张溥，张采成立复社的事 。“辨气类”就是要分清东林、复社与阉党的界限 。这样一来，钱澄之转而参加泽社的文课，凡江社的会期都辞谢不赴 。而作为“乡先辈”的阮大铖开始对方产生仇隙 。南都的《留都防乱公揭》 。
崇祯七年(公元1634年)，桐城“民变”，方以智移居南京 。结交天下名士有黄宗羲、吴应箕、陈贞慧、冒襄、侯方域、顾杲、沈昆铜、陈梁等人 。
崇祯十年(公元1637年)，他们大会东林党被害六君子的孤儿周茂兰、魏学濂等于桃叶渡 。方以智和陈梁曾写长诗纪事，为东林党扬声吐气 。这时阮大铖寄居南京，谈兵说剑，联络各方，希图再起 。
崇祯十二年(公元1639年)，陈贞慧与吴应箕共同起草驱逐阮大铖的宣言《留都防乱公揭》 。公揭以东林创始人顾宪成之孙顾杲以及黄宗羲为首署名，共计一百四十人 。阮大铖在千夫所指之下，隐藏到城外牛首山，不敢进城 。尽管方以智这年春天回桐城，秋后重来南京应试，未曾在揭贴上署名 。而阮大铖联系江社往事，仍认为公揭出于方以智主谋，因此怨毒更深 。清顺治二年(公元1645年)，弘光在南京即位，阮大铖通过关系成为兵部尚书，对大批东林后人以及复社成员进行了报复 。
崇祯十七年(公元1644年)，李自成入北京，方以智被起义军郭营所得，不久乘机逃到南京 。这时阮大铖当权，修复旧怨，借口方以智在李自成入京后没有“殉节”，而把方列入“从逆六等”中的第五等，处理方法是“宜徒拟赎” 。方以智在南都不能久留，由陈子龙介绍，经过浙江，福建辗转到达广州避难，结束了早年时代生活 。这一时期中，由于方以智对经、史、百家知识基础坚实，“凡天人，礼乐，律数，声音，文字，书画，医药，下逮琴剑技勇，无不析其旨趣”(《桐城耆旧传》卷六) 。崇祯十四、十六年已分别开始写作《通雅》与《物理小识》 。