第一段對話。程繁問墨子說，先生之前說過，“聖王不為樂”，聖明的君王都不創作音樂，但是比如諸侯處理政務太勞累了，士大夫工作太勞累了，農夫耕作太勞累了，他們用音樂來舒緩勞累，難度這也有錯嗎？
第二段對話。墨子說，君王創作音樂越多，那麼功績就越少。以前堯舜時期，只有茅草蓋的房子，他們制定了一些簡單的禮，也創作了一些簡單的音樂。
後來商湯把夏桀放逐到大水，統一天下，自立為王，大功告成之後,沒有什麼大的後患了，於是就承襲先王之樂而自創新樂，取名為《護》，又重新修訂了《九招》之樂。周武王戰勝殷朝，殺死紂王，統一了天下，自立為王，大功告成之後，沒有什麼大的後患了，於是沿襲先王之樂而自作了新的音樂，取名為《驃虞》[zōu yú]。
墨子說，周成王治理天下不如武王，周武王治理天下不如成湯，成湯治理天下不如堯舜。所以創作的音樂越是繁雜的國君，他的政績就越少。由此看來，音樂不是用來治理天下的。這是第二段對話，墨子用古代的例子，來說明了音樂對於治理天下無益。
第三段對話。程繁繼續問墨子，程繁說“子曰：‘聖王無樂’”，你之前說聖明的君王都沒有創造音樂，你看商湯和周武王不是也創作了音樂嗎？這裡其實程繁是換了一個概念，墨子說的是“不為樂”，而程繁反問的是“無樂”，其實是有區別的。其實墨子的“不為樂”是一個度的問題，而不是完全反對。
墨子說，聖王做事的原則是，根據具體情況所有損益，飲食對人有利，但是知道了餓了就要吃飯這不算什麼智慧，現在聖明的君王雖然有音樂，但是很少，這就等於沒有音樂一樣。所以，墨子總體是意思是，音樂對於國君治理和人民的生活其實是無益的，適可而止就可以了。
墨子的“非樂”有反對傳統的“禮樂”制度的意思，所以，在當時墨子這種思想是非常反叛的，有史料記載墨子因為“非樂”的思想被宋國囚禁，在《荀子》裡面也記載墨子的非樂思想差點受到刑罰。墨子“非樂”的思想反叛在於，製作禮樂是當時統治者的特權和權威，而墨子是在挑戰權威。但可能墨子的原意想表達的是，音樂只是生活的調節，不是治國之本，或者說不是必須的，如果沉溺於音樂，反而會玩物喪志，無法治理好國家。孟子在《梁惠王下篇》提出了著名的“獨樂樂，不如眾樂樂”的思想，批判了當時梁惠王沉溺於“世俗之樂”，而沒有治理好國家。
關於對音樂的態度，在《論語》中有一句非常著名的話：“子在齊聞《韶》，三月不知肉味”， 意思是說孔子在齊國聽到《韶》這種樂曲後，很長時間吃肉也感覺不到肉的滋味，可見孔子對於音樂的推崇，後來的。後來荀子在《荀子·樂論》針對墨子的“非樂”思想進行了批判，荀子看到了音樂的另外一面意義。
荀子說：音樂，就是快樂的意思，它是人的情感需要中不可或缺的。人不能夠沒有歡樂，歡樂了就必定會在歌唱吟詠的聲音中顯現出來，在手舞足蹈的舉止中顯現出來。人不能夠不快樂，快樂了就不能夠不表達出來，但這種表達要是不進行引導，就會出現禍亂。
所以古代的聖王創作了《雅》、《頌》的音樂來引導人們情感的表達，使歌聲能夠用來表示歡快而不淫蕩，使歌詞能夠用來闡明正道，而不流於花言巧語，使音律能夠宛轉悠揚，感化人的行善之心，避免邪惡骯髒的風氣接觸老百姓，這就是古代聖王創作音樂的準則。
其實不管是儒家還是墨家，他們的出發點都是希望國家能夠得到好的治理，民眾生活富足安定，只是墨子看到了過度沉溺於音樂帶來的負面效果，而荀子看到了音樂對人的正面促進作用。