1912年,河南大学的前身河南留学欧美预备学校,在古城开封清代贡院旧址诞生,首任校长为著名教育家林伯襄先生。 20年代初,河南督军冯玉祥将军应教育界人士在河南创办大学的要求,决定从查抄军阀赵倜的财产中拨出专款作为大学的筹备基金。1923年3月3日, 在预校基础上建立的中州大学举行开学典礼,设文、理两科,冯友兰、曹理卿分任文、理科主任。

1927年6月,在冯玉祥将军的支持下, 决定将河南公立法政专门学校、河南省立农业专门学校并入中州大学,成立国立开封中山大学(国立第五中山大学),增加了农科和法科。1928 年9月增设医科。

1930年8月,学校更名为省立河南大学,并改文、理、法、农、医五科为五院,张仲鲁任校长,就此河南大学正式命名。

抗日战争期间,河南大学先后辗转于河南信阳、南阳、洛阳,陕西西安、宝鸡等地,虽然图书、资料及仪器损失惨重,但仍办学不辍。1942年,河南大学由省立改为国立,办学经费有了保障。1946年后,设立工学院,后将黄河水利工程专科学校并入。

1948年,中共中央中原局决定以河南大学一批进步师生为基础在宝丰筹建中原大学,范文澜任校长。11月,将中原大学迁往开封河南大学校址办学。1949年,中原大学迁往武汉办学,主要系科成为今天中南财经政法大学的前身和华中师范大学的主要基础。同时,河南省人民政府以中原大学医学院、教育系师训班500余人和河南行政学院400多人为基础,接回迁徙到苏州的河南大学1200余名师生,重组河南大学,省政府主席吴芝圃任校长,下设文教学院、农学院、医学院、行政学院4个学院。河南大学的历史翻开了新的一页。

1952年,全国院系调整时,河南大学农学院独立并发展为河南农业大学;河南大学医学院独立并发展成为河南医科大学;河南大学行政学院独立,现为河南政法干部管理学院,河南大学水利系并入武汉大学;财经系并入中南财经学院;植物病虫害系并入华中农学院……原有的院级建制均改为系级建制。1953年8月6日,国家教育部和政务院文教委员会决定河南大学与平原师范学院两校合并,统称为河南师范学院,在开封、新乡两地办学,分称一院、二院。1955年8月16日,中共河南省委对河南师范学院进行调整,决定将文科集中在开封办学,理科集中在新乡办学。1956年11月,河南师范学院一院、二院分别独立为开封师范学院和新乡师范学院。开封师范学院设中文、历史、地理、外语4系。1959年,开封师范专科学校并入我校,新增物理、化学、数学、生物4系,后又增设政教系和体育系。1962年7月,河南艺术学院并入,建立艺术系;河南体育学院并入体育系;郑州大学地理系并入地理系。至此,学校有中文、历史、政教、地理、外语、数学、物理、化学、体育、艺术10个系。

1979年,更名为河南师范大学,增设教育系。1984年5月恢复为河南大学。学校也由师范院校逐渐发展成为河南省重点建设的综合性大学。

2008年10月17日,河南省人民政府和教育部签订省部共建河南大学协议,河南大学正式进入省部共建高校行列。

目前,河南大学是一所拥有文、史、哲、经、管、法、理、工、医、农、教育、艺术等12个学科门类的综合性大学,设有33个学院(部),94个本科专业,42个硕士学位授权一级学科,20种硕士专业学位授权类别,12个博士学位授权一级学科,15个博士后科研流动站。现有教职工4300多人,其中专兼职院士13人,正副高级职称1600多人。全日制在校生6万人,其中研究生近1万人,留学生500人。学校拥有棉花生物学国家重点实验室、纳米杂化材料应用技术国家地方联合工程研究中心和抗体药物开发技术国家地方联合工程实验室,特种功能材料、植物逆境生物学、黄河中下游数字地理技术实验室等教育部重点实验室3个,教育部工程技术研究中心1个,省级协同创新中心4个。建有国家教育部黄河文明与可持续发展研究中心、国家教育部体育艺术师资培训培养基地、国家体育总局社会科学研究基地及国家大学生文化素质教育基地等4个国家级教育、科研基地。办有出版社和多种学术刊物,图书馆藏书750万册(件)。校区总面积220万平方米,建筑面积147万平方米,其中明伦校区近代建筑群是国家重点文物保护单位,金明校区于2006年建成投入使用。

建校以来,先后培养了近50万名各类人才,一大批知名教授、学者,如范文澜、冯友兰、董作宾、郭绍虞、高亨、蒙文通、罗廷光、嵇文甫、罗章龙、毛礼锐等先后在校执教;不少学生,如尹达、邓拓、白寿彝、侯镜如、袁宝华、王国权、杨廷宝、高济宁、姚雪垠、吴强、周而复、马可、王鸣岐、李秉德、梁光烈等均已成为蜚声中外的专家、学者和社会活动家。