记忆减退和年龄相关，人的脑细胞在婴儿出生时已经分化好，在成长过程中随着不断地去学习新的知识，掌握新的技能，脑细胞突触之间的联系越来越发达，这样使创造力还有各种能力都随之明显提高。但随着年龄增长，脑细胞从20岁开始逐渐减少，伴随记忆力会随之下降。可以发现在40、50岁时记忆力远远不如20岁，所以学习新东西时在年轻时学得最快，掌握最快。除了与年龄相关的记忆减退，还有疾病导致的脑损害也会引起的记忆减退，尤其是痴呆，即阿尔茨海默病。
此外，还有血管病导致的痴呆，脑积水、癫痫都会导致脑细胞损害，使记忆力明显下降。另外帕金森病到晚期也会导致记忆力明显减退。另外还有全身性疾病会导致记忆减退，如肝脏疾病、肾脏疾病、肝性脑病、肾性脑病、甲状腺功能减退、抑郁症都会导致记忆减退。另外，维生素B12缺乏、阻塞性睡眠呼吸暂停综合征、肿瘤也会导致记忆减退。