Biasanya Yani memiliki 11 tentara menjaga rumahnya, istrinya kemudian melaporkan bahwa seminggu sebelumnya tambah enam orang ditugaskan kepadanya.
Orang-orang yang dimaksud berasal dari komando Kolonel Latief yang diketahui Yani adalah salah satu komplotan utama dalam G30S PKI.
Ketika para penculik datang kerumah Yani dan mengatakan kepadanya bahwa ia akan dibawa ke hadapan presiden, ia meminta waktu untuk mandi dan berganti pakaian.
Ketika penculik menolak, ia menjadi marah menampar salah satu prajurit penculik, dan mencoba untuk menutup pintu depan rumahnya.
Salah satu penculik kemudian melepaskan tembakan sontak membunuhnya secara spontan.
Tubuhnya dibawa ke Lubang Buaya di pinggiran Jakarta dan bersama-sama dengan orang-orang dari Jenderal yang dibunuh lainnya, disembunyikan di sebuah sumur bekas.
Tubuh Yani dan orang-orang korban lainnya diangkat pada 4 Oktober, dan semua diberi pemakaman kenegaraan pada hari berikutnya.
Sebelum dimakamkan di Taman Makam Pahlawan di Kalibata, pada hari yang sama Yani dan rekan-rekannya resmi dinyatakan sebagai Pahlawan Revolusi dengan keputusan presiden dan pangkatnya dinaikkan secara Anumerta dari Letnan Jenderal menjadi Jenderal Bintang Empat.