为了躲避残暴的商纣王，伯夷与弟弟叔齐居住在北海之滨，和东夷人一起生活。

听到西方伯主周文王兴起，国内稳定，生产发展很快。他们高兴地说：“应该从东夷回去了，我们听说西伯的国内很安定，很适合老年人居住。”

于是他们相约到周国去。但是走在中途，就遇见了周武王伐纣的大军，原来这时周文王已经死去，周武王用车拉着周文王的木主奔袭商纣。他们二人大失所望就叩马而谏说：“父死不埋葬，就动起武来，这能算作孝吗？以臣子身份来讨伐君主这能算作仁吗？”武王的卫兵要杀害他俩，军师姜尚劝解说：“这是讲义气的人呀，不要杀害他们。”就把他俩扶走了。

后来周武王与商纣王大战于牧野，血流飘杵，由于商纣王阵前的奴隶兵倒戈，周武王才取得了决定性的胜利，灭掉了商朝，建立了新的王朝周朝，这正是公元前1046年。

伯夷、叔齐认为这种做法太可耻了，发誓再不吃周朝的粮食。但是当时各地都属于周朝了。他们就相携着到首阳山上采薇菜吃。在采薇菜时，他们还唱着歌说：“上那个西山哪，采这里的薇菜。用那强暴的手段来改变强暴的局面，我真不理解这样作算是对呀？先帝神农啊，虞夏啊！这样的盛世，恐怕不会有了。我们上那里去呢，真可叹啊！我的生命就要结束了。”于是就饿死在首阳山之上。他们的让国和不食周粟，以身殉道的行为，得到了儒家的大力推崇。当子贡问孔子“伯夷叔齐何人也？”孔子立即回答说：“古之贤人也。”又问：“他们对所作的事不觉得后悔吗？”孔子说：“他们求仁而得仁，没有什么后悔的。”后来又进一步的说：“齐景公有马千驷，死之日，民无德而称焉。伯夷叔齐饿于首阳之下，民到如今称之，其斯之谓与。”原来伯夷叔齐的行为正符合儒家的价值观。儒家认为，人生价值不在于你能获得什么功名利禄，而在于你对社会作出了什么贡献，在后世对你的评价中来体现人生价值，这就是所谓的留名千古。所以孔子强调说：“伯夷叔齐……奋乎百世之上，百世之下，闻者莫不兴起也，非圣贤而能若是乎！”