Herman Johannes dilahirkan di Desa Keka, Pulau Rote, Nusa Tenggara Timur pada tanggal 28 Mei 1912. Ia menempuh pendidikan setingkat sekolah dasar dan sekolah menengah di Kupang, Makassar, dan Jakarta.

Karena prestasi belajarnya sangat baik selama di AMS (setingkat SMA), ia mendapat beasiswa untuk mengikuti kuliah di Technische Hogeschool (THS; Sekolah Tinggi Teknik) di Bandung. Pada tahun 1946, Johannes memperoleh gelar insinyur.

Pengabdian Johannes di dunia perguruan tinggi lebih banyak berlangsung di Universitas Gadjah Mada. Jabatannya dimulai sebagai Ketua Fakultas Teknik, kemudian sebagai Ketua Fakultas Ilmu Pasti dan Alam (FIPA), dan terakhir sebagai Rektor Universitas Gadjah Mada (1961-1966). Berdirinya FIPA adalah atas gagasan Johannes.

Herman Johannes meninggal dunia pada tanggal 17 Oktober 1992 di Yogyakarta. Ia merupakan ilmuwan yang menguasai beberapa bidang ilmu di samping ilmu yang secara khusus didalaminya di seolah dan perguruan tinggi. Pengabdiannya kepada bangsa dan negara tidak terbatas hanya pada bidang keilmuannya, tetapi juga meliputi bidang lain. Ia pernah aktif di bidang politik dan di lingkungan militer. Sebagai ilmuwan, ia menghasilkan lebih dari 150 karya tulis, baik yang berbentuk buku maupun artikel.