山口でアルメイダはイエズス会宣教師
コスメ・デ・トーレス神父に会う。彼は
フランシスコ・ザビエルの事業を継承して日本で布教を続けていた。アルメイダは宣教師たちとの出会いを通して、思うところがあり、
豊後府内(
大分県大分市)にとどまり、私財を投じて乳児院を建てた。これは当時の日本で広く行われていた赤子殺しや
間引きの現実にショックを受けたからであるとされている。さらに豊後府内の領主であった
大友宗麟に願って土地をもらいうけ、
1557年に
外科、
内科、
ハンセン氏病科を備えた総合病院を建てた。これが日本初の病院であり、西洋医学が初めて導入された場所である。また、大分において「ミゼリコルディア」(
ラテン語で「憐れみ」の意)といわれたキリスト教徒の互助組織を発足させた。