Alimin dilahirkan dari keluarga kurang mampu di Solo, Jawa Tengah, pada tahun 1889.

Ketika Alimin masih anak-anak, G.A.J. Hazeu, seorang Belanda yang kala itu menjabat sebagai Penasihat Urusan Pribumi, pernah memberikan beberapa keping uang.

Lantas uang tersebut dibagi-bagikan oleh Alimin kepada teman-teman sepermainannya.

Karena tindakan tersebut, G.A.J. Hazeu menaruh perhatian kepadanya, sehingga Alimin diangkat sebagai anak angkatnya dan kemudian disekolahkan di sekolah Eropa di Betawi.

Harapannya, nantinya Alimin akan bekerja sebagai pegawai pemerintah. Namun, ternyata ia malah masuk ke dunia politik dan menjadi jurnalis.

Semasa remaja Alimin sudah aktif dalam pergerakan nasional. Awalnya ia menjadi wartawan koran Djawa Moeda dan bergabung dengan Budi Utomo.

Ketika lahir Sarekat Islam yang lebih jelas garis perlawanannya dengan politik pemerintahan kolonial, Alimin bergabung dalam organisasi tersebut hingga pernah tinggal di rumah kos milik Tjokroaminoto.

Kemudia, ia bergabung dalam Insulinde dan juga sebagai editor di jurnal bernama Modjopahit di Batavia, bersama seorang dokter muda, Tjipto Mangunkusumo.

Alimin juga aktif mengorganisir para buruh pelabuhan dan pelaut, serta turut mendirikan Sarekat Buruh Pelabuhan yang dulunya bernama Sarekat Pegawai Pelabuhan dan Lautan.

Ketika organisasi komunis pertama di Indonesia bernama Indische Sociaal-Democratische Vereeniging (ISDV) berdiri, Alimin turut bergabung.

Bahkan, pada 1920-an Alimin sempat dipercaya untuk menjadi pemimpin PKI di Batavia.

Selama menjabat sebagai pimpinan PKI, Alimin pernah bertolak ke Singapura untuk berunding dengan Tan Malaka, anggota ISDV pada awal 1926.

Pada masa kolonial, Alimin menggalang para jawara dan orang-orang dunia hitam di Tanjung Priok untuk bergabung dalam pergerakan.

Mereka bertugas untuk melindungi orang-orang PKI dari incaran penguasa kolonial dan koleganya.

Keduanya bertemu dalam rangka menyiapkan pemberontakan.

Namun, sebelum Alimin kembali ke Indonesia, pemberontakan telah lebih dulu meletus pada 12 November 1926.

Alimin dan Musso, tokoh PKI, akhirnya ditangkap oleh polisi Inggris.

Setelah dibebaskan dari penjara, Alimin pergi ke Moskow dan bergabung dengan Organisasi Komunis Revolusioner Internasional atau Komintern.

Kemudian, pada 1946, tepatnya setelah Republik Indonesia diproklamasikan, Alimin kembali ke Indonesia dan kembali bergabung dengan PKI sebagai senior.

Pada masa D.N. Aidit mendirikan kembali PKI secara legal pada awal 1950-an, Alimin tidak lagi menjadi tokoh komunis.

Setelah Alimin meninggal, Presiden RI pertama, Soekarno menganugerahinya gelar Pahlawan Nasional Indonesia.

Hal tersebut tertuang dalam Surat Keputusan Presiden Nomor 163 tanggal 26 Juni 1964.