Berada di pengasingan, I Gusti Ngurah Panji pun justru menjadikan Kerajaan Buleleng hingga berkembang dengan baik. Kerajaan ini juga diperluas di bawah kekuasaannya hingga ujung Timur Pulau Jawa termasuk Kerajaan Blambangan yang berada di daerah Banyuwangi.

Kerajaan Buleleng mulai goyah ketika I Gusti Ngurah Panji Sakti wafat pada tahun 1704. Hal ini dikarenakan pura-putranya memiliki pemikiran yang berbeda. Semakin lama Kerajaan Buleleng pun semakin merosot. Dan di tahun 1732, Kerajaan Buleleng pun berhasil ditaklukkan dan dikuasai oleh Kerajaan Mengwi.

Setelah melalui perjuangan panjang selama 20 tahun, Kerajaan Buleleng pun dapat merdeka kembali. Tetapi di tahun 1780, Kerajaan Buleleng jatuh dalam kekuasaan Kerajaan Karangasem.

Raja Karangasem kemudian membangun istana di Buleleng yang diberi nama Puri Singaraja. Dilansir dalam bulelengkab.go.id, nama istana ini didasari atas mengingat bahwa keperwiraan Raja Ki Gusti Ngurah Panji Sakti tak ubahnya seperti Singa.

Demikianlah hari lahirnya Kota Singaraja yang diperingati pada tanggal 30 Maret 1604 didasari pada sejarah Ki Gusti Ngurah Panji Sakti, sedangkan nama Buleleng adalah nama asli jagung gambal atau jagung gambah yang banyak ditanam oleh penduduk pada waktu itu.