Два варианта.
---------------------------1----------------------------
1. Select → Select all
2. Select → Modify → Smooth
3. Select → Inverse
4. Delete
---------------------------2----------------------------
1. Rounded Rectangle Tool с такими настройками(радиус можно задать самому)
2. Выделяем всю фотографию.
3. Правая кнопка мыши → Make Selection
4. Select → Inverse
5. Delete
--------------------------------------------------------
P.S. Больше нравится второй вариант, т.к. делает углы идеально круглыми.