Создаем новый channel - channels/ New channel. Создаем выделение прямоугольником
, затем Select/Inverse и заливаем его белым цветом (Edit/Fill Use:White).
Отменяем выделение - Select/None и используем какой-нибудь фильтр, например Filter/Pixelate/Color Halfone (Параметры подберите по вкусу).
Переходим обратно в RGB channel и загружаем созданный нами шаблон - Select/Load Selection/#4. Затем заполняем (Edit/Filд) цветом фона на котором будет лежать фотка. Готово :
Ниже приведено несколько примеров с разными фильтрами: