Песня описывает реальные события. Группа решила записывать свой новый альбом за пределами Англии. В декабре 1971 года музыканты съехались в швейцарский городок Монтрё для записи альбома на передвижной студии, арендованной у Rolling Stones и известной как Rolling Stones Mobile. Запись решено было делать в развлекательном комплексе казино Монтрё (в песне — «the gambling house»), в котором они уже бывали с концертами. Накануне студийной сессии, в субботу, 4 декабря, в театре казино проходил концерт Фрэнка Заппы и The Mothers of Invention в рамках их европейского турне. Это был последний концерт в этом зале, после которого он должен был поступить в распоряжение Deep Purple для записи альбома. Группа решила во избежание недоразумений пока не разгружать аппаратуру, что оказалось впоследствии счастливым решением.
Из-за подвесного бамбукового потолка появились искры и затем огонь — очевидно, один из зрителей (которого найти не удалось) выстрелил из ракетницы в крышу («some stupid with a flare gun»). Заппа спокойно сказал «без паники, у нас пожар» (возможно, они сами ничего не заметили и им самим сказали), после чего музыканты покинули сцену.
Зрители эвакуировались довольно организованно, обошлось без жертв. В песне упоминается «funky Claude», который «вбегал и выбегал», — это директор джазового фестиваля в Монтрё Клод Нобс, помогавший зрителям выбраться из зала. Среди зрителей были и участники Deep Purple.
В результате пожара сгорел дотла весь многоэтажный комплекс казино, вместе с концертным залом и аппаратурой «The Mothers».
Из гостиницы Europe Hotel, где остановились участники Deep Purple, музыканты наблюдали через большое окно ресторана, как казино охватывается пламенем и видели завесу дыма над Женевским озером.
Группе, уже взявшей в аренду дорогую студию, пришлось подыскивать по всему городу новое помещение. Вскоре Нобс нашёл для них театр «Павильон» (The Pavilion), расположенный в центре города. Туда перевезли оборудование и начали работать в середине дня над инструментальной дорожкой с новым риффом, заготовленным Блэкмором, ещё без текста, под рабочим названием «Title #1». Отладка аппаратуры и разработка аранжировок заняла остаток дня, и собственно дубли начали записывать уже за полночь. Третий дубль оказался удачным, и на нём остановились.
К помещению предъявлялось много требований, и его поиски заняли 5—6 дней. В один из этих дней ожидания Гловер проснулся в гостиничной комнате, произнеся в момент пробуждения слова «smoke on the water». Он так это описал:
Я был один в кровати… в то мистическое время между глубоким сном и пробуждением, когда я услышал собственный голос, произносящий эти слова вслух. Я проснулся и спросил себя, действительно ли я их произнес, и решил, что так и было. Я хорошенько их обдумал и осознал, что это может быть потенциальным названием для песни.
Когда он позже сообщил об этих словах Гиллану, тот сказал, что они звучат как «наркоманские» («sounds like a drug song»); участники Deep Purple, относя группу исключительно к «пьющим», поначалу эти слова отвергли. В конце концов, уже в цейтноте, группа сняла целиком гостиницу «Гранд Отель», находившуюся на отшибе и почти пустовавшую, а потому практически неотапливаемую в декабре («We ended up at the Grand Hotel, / It was empty, cold and bare»), превратив её Т-образный коридор на первом этаже в импровизированную студию. Пришлось специально нанять столяра для сооружения деревянного щита, который отгораживал фойе, и обложить щит матрасами из гостиничных номеров. Был арендован промышленный обогреватель, который включали в перерывах по нескольку раз в день. Из припаркованной рядом студии провели кабели в гостиницу. Поскольку выход в фойе был перекрыт щитом, музыканты попадали внутрь и выбирались обратно на улицу в передвижную студию через боковой коридор и балконы прилегающих смежных номеров. Пространство, где они играли, было подсвечено красными прожекторами для создания творческой атмосферы («With a few red lights and a few old beds / We made a place to sweat…»). Барабанные партии были записаны отдельно в коридоре гостиницы, так как Иэну Пейсу пришлась по душе реверберация холла между номерами.
В таких условиях был записан весь альбом Machine Head. А на инструментальную дорожку, записанную ранее в «Павильоне», был наложен вновь написанный текст с припевом «Smoke on the Water».
Из всех композиций альбома песня «Smoke on the Water» вошла в концертную программу 1972 года самой последней, это произошло в конце мая.
