Köyün eski adı "Alansa"'dır. İspanyol asıllı Papalık elçisi Ruy González de Clavijo 1404 yılında Trabzon'dan Erzincan'a giderken köye uğramış ve o sırada köyün Erzincan Emirine bağlı Türk asilzade reisince yönetildiğini belirtmiştir. 1516 yılında yapılan tahrire göre köyde sadece Hristiyanlar yaşamaktadır. 1530'dan itibaren köyde Hristiyanlar çoğunlukta olmak üzere Müslüman ve Hristiyan nüfus bir arada yaşadığı görülmektedir. Yerleşim, bağlı olduğu Kelkit nahiyesi genelinde olduğu gibi Celâlî isyanları sırasında olumsuz etkilenmiş ve nüfusu oldukça azalmıştır. 1642 yılında köyde; avarıza konu 28 Müslüman hane ile 1 Hristiyan hane bulunurken, ayrıca birer adet erbab-ı tımar ve imamdan oluşmaktadır. 1835 yılı sayımında (sadece erkek nüfus sayılmış) sadece Ermenilerin yaşadığı köyde 53 erkek kaydedilmiştir.

Türkiye Cumhuriyeti'nin kuruluşuyla da Alansa adıyla görülen yerleşimin adı, 1950'lerin sonuna doğru değiştirilmiş ve 1960 yılı nüfus sayımından itibaren günümüzdeki adıyla kayıtlarda yer almaya başlamıştır.Gümüşgöze, 20 Ekim 1998 tarihinde belediye statüsü alarak beldeye dönüştü.