Menceritakan tentang Haruto Kirishima yang menjalani kehidupannya yang tenang disebuah pedesaan, jauh dari kota yang serba modern. Suatu hari, tiba-tiba saja Yuzuki Eba muncul dalam kehidupannya, setelah datang dari Tokyo dengan tujuan untuk tinggal bersama keluarganya. Waktu yang mereka habiskan bersama-sama, membuat kenangan singkat diantara mereka sebelum akhirnya dia menghilang begitu saja dalam kehidupannya, dan membiarkannya dengan penuh pertanyaan dan misteri.
Kimi no Iru Machi dimulai beberapa waktu kemudian, setelah Haruto pindah ke Tokyo untuk tinggal bersama saudaranya dan bekerja sebagai juru masak / koki. Walaupun sebenarnya ia ingin tinggal bersama Yuzuki. Awal kehidupan barunya terjadi hal-hal yang tidak begitu baik. Ketika dia salah diduga sebagai pencuri dan diserang oleh tetangga saudaranya, Mishima Asuka. Setelah kesalahpahaman telah selesai sekalipun, hatinya masih diliputi rasa gelisah. Apakah Eba terus menghindarinya tanpa suatu alasan yang jelas?