1914年回国，担任东京爱乐乐团管弦乐部首席指挥。1917年赴美留学，于纽约卡内基音乐厅指挥和演出自己的作品。1920年归国后于帝国剧场举办了日本的首演。1921年担任日本文化学院音乐部主任。

1924年在中国哈尔滨组建日本交响乐协会。在这一时期写出了闻名世界的儿歌《红蜻蜓》乐谱。1926年乐团解散，并于同年回国。1930年改名山田耕筰。

20世纪30年代以后，日本宣传和情报部门利用音乐组织进行军事宣传，乐队受到日益严重的军国主义思想毒害，宣传歌颂日军侵略行为的作品增多，特别是在1940年至1945年，更为严重。

二战结束后，1948年与东京新闻的音楽评论家山根银二因为战时行为问题争吵，突发脑溢血，此后身体行动受限。1950年出任日本指挥家协会会长，获日本广播文化奖。1955年特邀出演电影《这里有泉》（ここに泉あり）剧中有孩子们演唱红蜻蜓的镜头，1956年获文化勋章。1965年11月因身体原因入住东京圣路加国际医院，12月4日出院，12月29日病逝于世田谷成城自家宅中。