Jurusan Fisika berdiri bersama-sama dengan berdirinya Fakultas Matematika dan Ilmu Pengetahuan Alam (FMIPA) Universitas Sebelas Maret (UNS) Solo pada tahun 1996. Rintisan FMIPA dimulai sejak tahun 1982 dengan didukung oleh staf dosen berlatar pendidikan MIPA yang ditempatkan di Fakultas Teknik, Keguruan dan Ilmu Pendidikan, Kedokteran dan Pertanian. Cikal bakal FMIPA adalah Program Studi Matematika, yang saat itu bernaung di bawah Fakultas Teknik, yang didirikan berdasarkan SK DIRJEN DIKTI, tertanggal 26 Januari 1989, Nomor 206/D2/1989. FMIPA UNS didirikan berdasarkan Surat Keputusan Disusul SK Mendikbud tertanggal 1 Oktober 1996, No. 0297/O/ 1996, terdiri atas Jurusan Matematika, Fisika, Biologi dan Kimia. Semua program studi di FMIPA menyelenggarakan program Sarjana Strata-1. Pada tanggal 2 Mei 1997 Rektor UNS mengalih-tugaskan 62 dosen berlatar belakang ilmu-ilmu MIPA dan 20 tenaga administrasi dari berbagai fakultas dilingkungan UNS ke FMIPA.

Pada tahun 2003 Jurusan Fisika mendapat status Terakreditasi B oleh Badan Akreditasi Nasional Perguruan Tinggi Departemen Pendidikan Nasional Nomor: 05910/ Ak-VII-S1-029/ USFFGA/ IX/ 2003. Karena kinerjanya semakin baik, pada tahun 2009 Jurusan Fisika mendapat status Terakreditasi A berdasarka Surat Keputusan BANPT No. 001/BAN-PT/Ak-XII/S1/III/2009 tentang Status, Peringkat, dan Hasil Akreditasi Program Sarjana di Perguruan Tinggi.