Сделаем активным инструмент Прямоугольное выделение (Rectangular Mark Tool - M) и, удерживая Shift, нарисуем от центра изображения квадрат на 90% его площади. Теперь зальем его белым цветом (Alt+Backspace). В результате должно получится что-то похожее на рисунок слева.

Убедимся, что выделение все еще активно (если нет - кликнем на представлении канала Square, удерживая Ctrl). Перейдем к фильтру Gaussian Blur: Filter > Blur > Gaussian Blur. Введем значение 25 и нажмем ОК. Посмотрите, получилось примерно так, как на рисунке.

Теперь настроим Уровни (Levels): Image > Adjust > Levels. В диалоговом окне соединим правый и левый бегунок в точке первого Выступа (Spike) - см. рисунок. Нажмем ОК.

По завершению предыдущего шага Ваше изображение должно выглядеть примерно так, как продемонстрировано на рисунке. Не обязательно все в точности, но, по крайней мере, - очень похоже.

Последний штрих. Удерживая Ctrl, щелкнем по представлению канала Square в палитре Каналы (Channels), тем самым выделив его. Переключимся на палитру Слои (Layers) и создадим новый слой. Зальем выделение произвольным цветом и получим то, к чему мы стремились, - изображение со сгругленными краями.