我会利用默认的Integer.compare方法。基本上你想要的是首先检查绝对差的比较，如果是平局，就做一个正常的比较。

static int compare(int x, int a, int b) {
    int comp = Integer.compare(Math.abs(a - x), Math.abs(b - x));
    if (comp == 0) {
        return Integer.compare(a, b);
    }
    return comp;
}

这使得编写实际的优先级队列实现变得非常简洁

static List<Integer> findClosestElements(int[] arr, int k, int x) {
    PriorityQueue<Integer> queue = new PriorityQueue<>(
        arr.length, (a,b) -> compare(x, a, b));
    Arrays.stream(arr).forEach(queue::add);
    return queue.stream().limit(k).sorted().collect(Collectors.toList());
}

这里，问题不在于你的优先级队列，而是我们需要两个不同排序格式的结果.你的队列将给予前K个元素，但这将永远不会是升序，因为它排序元素相对于距离“X”，所以对于给定的X=4，元素3和5都在同一级别，所以你的结果将有类似[4，3，5]的数据.
最好对结果列表进行单独排序。
执行Collections.sort(ints);并返回结果。

在您的实现中，您没有检查两个整数到X的距离相同的场景。
以下比较器实现将给予正确结果：

PriorityQueue<Integer> pq = new PriorityQueue<>(arr.length, 
                (a,b) -> {
                    int comp = Integer.compare(Math.abs(a - x), Math.abs(b - x));
                    if(comp==0) {return Integer.compare(a, b);}
                    return comp;
                });

Queue<Integer> pq = new PriorityQueue<>((a,b)->(Math.abs(a-x)<Math.abs(b-x))?1:-1);