“大学”二字最早出自儒家“四书五经”之一《大学》。该书作者为孔子弟子曾参，作者在书中以短短几千字阐述了儒家思想修习之要，微言大义。
对于“大学”二字的解释，南宋鸿儒朱熹的“大学者，大人之学也”流传最广，后人多沿用此说，认为“大学”指具备一定道德修养之人通过行为与学问的统一所进行的自我修炼。另外，也有人比照古时的“小学”来解释“大学”。古时的“小学”指每个人在13岁之前所接收的教育，“小学”学习“小艺”，包括“礼、乐、射、御、书、数”六艺；而“大学”则是指学习称为“大艺”的“诗、书、乐、易、礼、春秋”六经。
从这两种解释中，我们都可以看出古时的“大学”体现为一种教育理念与教育内容，相当于现在我们所说的“大学教育”，与我们现在纯粹指“从事高等教育的机构”的意思是不一样的。另外，古时的“大学”与我们现在所说的“大学教育”也是有区别的，古时的大学偏重于提高个人修养与“修身齐家治国平天下”的意味，而现在的大学教育则要宽泛得多，泛指学习既定的学科知识与提高一般性的个人修养，标准是降低了的。
按照一个人学习所达到的深度与广度来说，中国古时是存在大学的，只是各个历史时期有不同的名称。据史料记载，在虞舜之时，即出现了名为“上庠”的公办学校，“上庠”即“高等学校”的意思；而春秋时期，孔子在自己家里开堂讲学，因为没有严格的学校制度与像样 的教学设施，说大学可能有些勉强。但到了汉武帝时，由国家在京师所办的“太学”则是相当正规的大学了，太学不仅设五经博士任教，而且作为官办学校首次对贫家子弟开放。
太学一直存在到明代；之后国子监兴起，成为典型的国办“大学”，一直持续到清末。另外，唐代末期，除官方“大学”，民间开始出现私人设堂授徒的书院，尤其到宋代，书院大盛。书院相比于孔子等人的聚众讲学，因为有固定的教育场所与相当严格的学院制度，完全称得上是“大学”了，书院一直和官方“大学”共同存在，到清末才消失。
扩展阅读：古代太学是什么
“太学”乃是汉武帝接收董仲舒建议，在京师长安所设，它面向全国青年学子“招生”，传授儒家学说。太学设有专门的五经博士，教授五经、“春秋三传”等儒家经典。太学设学之初，效仿孔子弟子三千，而收三千“太学生”，后来时多时少，数量不定，最多时是在汉梁太后掌权期间，曾达到3万多人的规模。
“太学生”从“太学”毕业，便有机会做官。因此，“太学”制度可以说是首次实现了政府公职对于民间人士的制度性开放。太学制度一直被历代统治者所采纳，一直到明代方在名称上完全被“国子监”所取代，但其实质形式依然没变。太学在历个朝代中培养出了大批官员和文化人，对于文化的传播和发展起了重要作用。