中国教育传统非常悠久，夏朝时便设有“序”、“校”、“庠”等专门的官方教育机构，后来商朝则增加了“学”和“瞽宗”，周代的官方学校则大致沿用了夏商时期的校名，并进一步完善了教育制度。夏商周时期的官方学校只针对贵族子弟而设。除官学之外，春秋时期，由于统治阶层力量削弱，学术出现下移，以孔子为代表的民间私学兴起。虽然就教学设施与教学制度而言，孔子的“传道之所”可能算不上学校，但就其教育理念与教育内容而言，也可以算是学校了。
无论官学还是私学，早期的教育对于“小学”、“大学”的区分，虽然不像现在这样严格，但还是有的。比如早在西周的贵族学校中，针对不同年龄段的学生，所教的内容已有所区分。对于刚入学的幼小子弟，有专门为他们而设的小学课程，具体内容为“六艺”，即“礼、乐、射、御、书、数”。其重点在于基本的识字教育、德行培养、情操陶冶、身体锻炼；而对于年龄稍长的儿童，则开始更高一级的教育。
孔子在自己的私学中，也继承了这种教学制度，先教小学部分的“六艺”，然后是以“诗书易，礼春秋”这六经为学习内容的“大学”部分，以期学生担负起闻道救世的重任。后世的学校则继承了早期的这种划分方法，形成了教育的“蒙学”、“大学”两阶段制。
“蒙学”各代名称不一 ，诸如“四门小学”、“内小学”、私塾的“蒙馆”等都属于此，相当于现在的小学教育。蒙学之后，则是“大学”教育。一般而言，古代的小学阶段指学童13岁之前，这时的先生主要教其识字、背诵，13岁之后则对学生讲解文章的义理，并教授作文之法。对人文学科来说，这种“小学”、“大学”二分法的教育是非常智慧的，北宋文学家苏辙的“早岁读书无甚解，晚年省事有奇功”便道出了这种教育模式的优点所在。
另外，现在的“中学”教育在古代虽然没有单独划出来，但也并没有跳过去，而是包含在“大学”教育之中。毕竟一个人的学习规律是古今如一的，不可能跳过哪个阶段，区别只在于是否有外在的具体划分罢了。
扩展阅读：蒙学
所谓蒙学，指中国传统的幼儿启蒙教育。古代殷实之家的儿童一般会在4岁左右开始读私塾，称之为“开蒙”。学习内容包括两方面，一是学习衣帽整洁、洒扫应对、文明礼貌之类。二是读背一些蒙学书籍，主要就是所谓的“三百千千弟子规”，即《三字经》、《百家姓》、《千字文》、《千家诗》、《弟子规》等。同时，在蒙学阶段也会让儿童接触“四书”等经典书目，为日后的学习打下基础。
蒙学教育通常采用个别教育的手段施教，注重背诵与练习。蒙学教育的基本目标是培养儿童掌握认字和书写的能力，养成良好的日常生活习惯，了解基本的道德伦理规范,并且掌握一些基本文化常识及生活常识。蒙学阶段一般在4-12岁之间，相当于现在的小学阶段。