“火箭”一词在公元3世纪中国的三国时期就已出现。当时蜀国丞相诸葛亮率军进攻陈仓时，魏国守将郝昭就用火箭焚烧了蜀军攻城的云梯，守住了陈仓。不过当时的火箭只是在箭头后部绑附浸满油脂的麻布等易燃物，点燃后用弓弩射至敌方，还不是真正意义上的火箭。
火药发明以后，很快应用于军事，出观了一系列火药武器，其中之一便是火箭。中国古代科学家最早运用火药燃气反作用力原理制造火箭，中国古代火箭有箭头、箭杆、箭羽和火药筒四大部分。火药筒外壳用竹筒或硬纸筒制作，里面填充火药，筒上端封闭，下端开口，筒侧小孔引出导火线。点火后，火药在筒中燃烧，产生大量气体，高速向后喷射，产生向前的推力。其实这就是现代火箭的雏形：火药筒相当于现代火箭的推进系统；锋利的箭头具有穿透人体的杀伤力，相当于现代火箭的战斗部；尾端安装的箭羽在飞行中起稳定作用，相当于现代火箭的稳定系统；而箭杆相当于现代火箭的箭体结构。
中国古代火箭“一窝蜂”
明代后期创制了“火龙出水”等二级火箭。这种火箭已经应用了火箭并联(4个火药筒)、串联(两级火箭接力)原理。它既可以射向天空，也可以用于水战。它用于水战时可在水面上飞行数公里远。这是最早问世的二级火箭，在明代后期出版的《武备志》、《火龙经》等兵书中都有记载，比现代的二级火箭要早300多年。此外，当时还创制三种可返还可回收的二级火箭“飞空沙筒”，把古代火箭技术推向高级阶段。
火龙出水
大约在13世纪末至14世纪初，中国的火药与火箭等火器技术传到了印度、阿拉伯，并经阿拉伯传到了欧洲。
古代火箭经过漫长的历史演变，与现代理论和探索相结合，最终发展成为现代火箭。