1890年3月，高野五十六进入阪上小学，开始了学校生活。他聪明伶俐，勤奋好学，学习成绩一直很好，每年都能得到学校的奖励。小学毕业那年，得到学校的优等奖，并获得教育奖励会樱花银质奖牌一枚。1896年4月，高野五十六升入长冈中学。这是一个有着特殊背景的学校，学校的老师大部分是旧长冈藩的武士，学生则是士族子弟。当时，无论是学校老师还是社会上的武士都认为，要改变长冈的地位，最有效的手段就是用他们的武士精神培养优秀人才。1875年成立的长冈社，就是一个武士发起的育英事业团体，专门资助那些家境困难但品学优秀的有用人才。高野五十六的情况十分符合长冈社的标准，因而得到了长冈社的资助，每月1日元。资助的数额虽小，但高野五十六受到了莫大的精神鼓励，他几乎放弃一切有碍学业的娱乐，一门心思用在学习上。对待资助的奖金，高野十分珍惜。在上中学的几年中，大部分教科书都是自己抄写的，5年的时间，他只穿了一套校服，回到家马上脱下，换上母亲做的土布衣服。长冈社对高野五十六的一生产生重要影响，他后来的许多思想都与长冈社的宗旨有关。以至于在成为将军后，山本还时刻关注长冈社的发展，经常进行捐款和帮助，直到战死。