Năm 1902 Toàn quyền Paul Doumer, trước khi rời Đông Dương, mời Yersin từ Nha Trang ra Hà Nội để mở một trường Y, một bệnh viện, và một trung tâm vệ sinh. Yersin được bổ nhiệm làm hiệu trưởng đầu tiên của École de Médecine de Hanoi (Trường Y khoa Hà Nội), là tiền thân của Đại học Y Hà Nội.
Ông thiết lập giáo trình theo hình mẫu đại học Pháp – sáng khám bệnh ở bệnh viện, chiều dành cho lý thuyết – đích thân ông giảng dạy trong các giờ vật lý, hóa học, và phẫu thuật.
Trường khai giảng ngày 1 tháng 3 năm 1902, năm học đầu tiên có 29 sinh viên, 15 người đến từ Bắc Kỳ, 5 từ Trung Kỳ, 8 từ Nam Kỳ, và 1 từ Cao Miên. Tất cả đều được nhận học bổng 8 đồng mỗi tháng. Sau hai năm, khi mọi thứ đã vào guồng, Yersin xin từ nhiệm, và trở về Nha Trang.