试试这个http://jsfiddle.net/bpD8B/4/

$(function() {
    $button = $('button[name="edit"]');
    $button.on('click', $button, function() {
        var $that = $(this);
        if($that.text()=='Edit'){
          $that.text('Save Changes');
          $that.addClass('js-editing');
        }
        else{
                alert('Saved!');
                $that.text('Edit');
                $that.removeClass('js-editing');
        }
    });
});

调用off（）后，永远不要添加回原来的处理程序，这样会删除它。
也就是说，使用两个按钮，并使用相应的单击处理程序，然后使用hide（）和show（）来交替使用哪个按钮可能会更容易。对于最终用户来说，它的外观和行为应该完全相同，而对于您来说，编写代码也会少很多麻烦。
示例：http://jsfiddle.net/VgsLA/
我认为最终，这段代码更加健壮和易于管理。

这只是一个逻辑问题，而对于$that.off('click').on('click', $that, function() {，你是委托给它自己，这不是你应该做的。
下面是使用您的代码的解决方案：

$(function() {

    $button = $('button[name="edit"]');
    $button.on('click', $button, function() {
        var $that = $(this);
        if ($that.hasClass('js-editing')) {
            alert('Saved!');
            $that.text('Edit');
            $that.removeClass('js-editing');        
        } else {      
            $that.text('Save Changes'); 
            $that.addClass('js-editing');
        }
    });

});​

Demo