从明治维新(1868年)开始，打破了长期闭关锁国的禁锢，以教育为先端，在各个领域里变革图新、大胆向西方学习，很快跨入了先进资本主义国家的行列。它的现代音乐教育首先是从在新型学校里开设唱歌课开始的。在中、小学音乐教育逐步普及的基础上，明治20年(1887年)东京音乐学校成立，成为日本第一所专业音乐学校。 第二次世界大战结束后的1949年，日本教育体制改革，原来的东京音乐学校和东京美术学校合并，升格为东京艺术大学，成为日本唯一的国立艺术大学。
随后，其他一些都立、市立和私立的音乐学校也相继升格为音乐大学，各种类型的高等音乐学校普遍建立，日本的专业音乐教育形成了自己的格局。从体制上说，日本的专业音乐教育是以音乐大学为中心，由三个基本环节组成的。 音乐大学相当于我国的音乐学院，四年制，另有少数短期音乐大学为二年制。一般都设有作曲、乐理(相当于音乐学)、声乐和器乐学部或学科(相当于系)。部分学校设有指挥和音乐教育学部或学科。
只有东京艺术大学音乐部设有邦乐学科，专门培养日本民族音乐的演奏和教学人才。音乐大学毕业授予学士学位。
日本比较有名的音乐大学首推东京艺术大学，无论从办学历史、教学水平和人才培养等各个方面来看，都是日本首屈一指的。由于它是国立大学，学费比私立音乐大学低得多，报考人数多、竞争率高、学生的质量相对来说也比较高、比较整齐。
桐朋学园音乐部以培养演奏人才而闻名。著名指挥家小泽征尔就是在桐朋接受指挥的基础教育之后转赴欧美深造的。
国立音乐大学和武藏野音乐大学是两所齐名的历史比较悠久、办学经验比较丰富、规模也比较大的私立音乐大学。
此外，东京地区还有东京音乐大学、东邦音乐大学、东京学艺大学音乐部、上野音乐大学、昭和音乐大学;外地有大阪音乐大学、大阪艺术大学、京都艺术大学、爱知艺术大学、广岛伊丽莎白音乐大学等音乐大学。
部分音乐大学之上设有大学院(相当于我国的研究生部)，一般为二年制，授予修士学位(相当于我国的硕士学位)。 只有东京艺术大学在二年修士课程之后，还设有三年博士课程，是日本唯一可以授予博士学位的艺术大学。
