彼は日本の医学界が
東京帝国大学医学部・陸軍軍医団を筆頭にドイツ医学一色で学理第一・研究優先になっているのを憂い、英国から帰国後の明治14年(
1881年)、前年に廃止された
慶應義塾医学所に関わっていた
松山棟庵らと共に、臨床第一の英国医学と患者本位の医療を広めるため医学団体
成医会と医学校である
成医会講習所を設立する。当時講習所は夜間医学塾の形式で、講師の多くは高木をはじめとする海軍軍医団が務めた。成医会講習所は明治18年(
1885年)には第1回の卒業生(7名)を送り出し、明治22年(
1889年)には正式に医学校としての認可を受け成医学校と改称した。