檢測圖像中的操作（例如，照片複製粘貼）
我正在尋找一種解決方案來檢測使用 Photoshop 等工具處理的照片。首先，我想檢測複製粘貼的圖像。
知道如何檢測通過在原始照片頂部粘貼另一張照片來操縱的照片嗎？
例如，檢測一張身份證照片，其中一張人臉照片粘貼在原始人臉的位置。
為了讓它變得更加困難，讓我們假設我們在將面部粘貼到位後對圖像進行下採樣。這將平滑粘貼圖像的銳利邊緣。
更新1：
1）似乎壓縮技術以及直接的 cnn 訓練不起作用。
2）這是一個相關的帖子
3）這，是照片取證方法的總結。
更新 2：
由於這裡沒有真正的進展，我開始賞金。
更新 3：
感謝賞金和@machine-epsilon，我們有一個有效的答案！
更新 4：
由於這篇論文是在 ICCV2019 上發表的，所以我就在這裡補充一下。
一般來說，很難檢測到篡改，這是數字圖像取證的一個完整研究領域。我將嘗試總結一些解決這個問題的關鍵方法。您所說的有時稱為圖像偽造或圖像篡改。而復制粘貼操作稱為圖像合成或圖像拼接。
從實際的角度來看，這個問題有許多不同的變體：
- 在圖像中添加一些東西 （來源）
- 從圖像中刪除某些東西
根據您是否參與審查視頻監控錄像、在法庭案件中檢查單張照片或運行照片共享網站，您解決問題的方式將大不相同。如果問題是對抗性的並且圖像處理可能已被隱藏，則問題會更加困難。
另一點是圖像中發生了很多合法的後處理。舉一個極端的例子，新的數碼相機引入了散景和模糊效果，即使成品圖像中不存在這種效果。因此，如果您對檢測圖像拼接之外的更一般類型的圖像處理感興趣，那麼了解相機和應用程序中正在發生的事情會很有幫助。
在相機上獲取數字圖像如下：
場景成像傳感器關於相機後處理貯存
在哪裡
- 場景是圖像的外部幾何
- 圖像傳感器是將光轉換為電荷的 CCD 或 CMOS 光電探測器
- 後處理是相機將電荷轉換為數字信號的地方，並採取幾個校正步驟來考慮相機幾何形狀、顏色校正等。
- storage of 是將完成的圖像寫入內存的位置。通常它會被轉換為壓縮格式，例如 JPEG，並與相關元數據一起存儲。
通過考慮採集過程，您可以看到篡改會導致圖像不一致的幾個可能點：
- 物理場景幾何
- 傳感器和採集噪聲
- 後處理和壓縮偽影
- 元數據
**元數據。**一個顯而易見的事情是與圖像相關聯的元數據，通常它可以包含相機信息、時間信息和可能的位置信息。所有這些都可以識別不一致。如果您的圖像中有自由女神像，但 GPS 坐標顯示您在南極洲的麥克默多站，則該圖像可能是偽造的。但是元數據本身很容易更改或剝離，因此這是不可靠的。
傳感器噪音. 傳感器噪聲對於數碼相機來說可能非常獨特，以至於它可以用來對不同相機型號中的傳感器進行指紋識別。數碼相機中的傳感器引入了幾種不同類型的噪聲，但一種非常有用的噪聲是光響應不均勻性 (PRNU)。這是與傳感器噪聲和後處理相關的指紋，它對多種圖像處理轉換具有魯棒性，包括有損壓縮，例如下採樣。您可以跨圖像中的塊計算 PRNU，並且從不同的相機引入新元素會在圖像中引入和不一致。這似乎工作得很好，但如果你知道相機類型，效果最好。仍然可以從單個圖像中估計 PRNU。濾色器陣列插值也應該在整個圖像中保持一致，
**壓縮和處理工件。**所有圖像處理技術都會在圖像統計上留下痕跡。數字圖像通常通過 JPEG 壓縮，JPEG 使用離散餘弦變換壓縮事物。此過程會在圖像統計信息中留下痕跡。一種有趣的技術是檢測 JPEG 重影，即通過 DCT 壓縮兩次的圖像部分。正如您所提到的，我相信下採樣會消除其中一些偽影，儘管下採樣本身是可以檢測到的。
**場景一致性。**從單一來源獲取的圖像應具有一致的視角（消失點）和照明。此外，很難用合成圖像偽造這些偽造的這些。我建議在此處查看 (Redi et al., 2011) 以了解更多詳細信息。
最後，如果您說“好吧，我放棄了。有太多可能的方法，我只想要一個檢測器”，您可以查看最近的 ICCV 論文，他們在其中訓練檢測器以查找圖像被操縱的位置。這可能會讓您對訓練黑盒模型有更多的了解。
Bappy、Jawadul H. 等人。“利用空間結構來定位操縱的圖像區域。” IEEE 計算機視覺和模式識別會議論文集。2017 年。
數據集/競賽：
Casia V1.0和V2.0（圖像拼接） http://forensics.idealtest.org/
覆蓋（複製移動操作） https://github.com/wenbihan/coverage
2018 年媒體取證挑戰賽（各種操作，需要註冊） https://www.nist.gov/itl/iad/mig/media-forensics-challenge-2018
IEEE IFS-TC 圖像取證挑戰數據集。（網站目前不可用）
提高（原始的、未處理的圖像以及相機元數據） http://mmlab.science.unitn.it/RAISE/index.php
調查：
Redi、Judith A.、Wiem Taktak 和 Jean-Luc Dugelay。“數字圖像取證：初學者手冊”。多媒體工具和應用程序 51.1 (2011): 133-162。 https://pdfs.semanticscholar.org/8e85/c7ad6cd0986225e63dc1b4264b3e084b3f9b.pdf
弗里德里希，傑西卡。“數字圖像取證。” IEEE 信號處理雜誌 26.2 (2009)。 http://ws.binghamton.edu/fridrich/Research/full_paper_02.pdf
法里德，漢尼。數字圖像取證：數字圖像和視頻取證調查課程的講義、練習和 matlab 代碼。 http://www.cs.dartmouth.edu/farid/downloads/tutorials/digitalimageforensics.pdf
基什內爾，馬蒂亞斯。關於數字圖像取證和反取證的說明。迪斯。達特茅斯學院，2012。http ://ws.binghamton.edu/kirchner/papers/image_forensics_and_counter_forensics.pdf
梅蒙，納西爾。“照片取證——一張照片比眼睛看到的要多。” 數字水印國際研討會。施普林格，柏林，海德堡，2011。
Mahdian、Babak 和 Stanislav Saic。“關於識別圖像偽造的盲法的參考書目。” 信號處理：圖像通信 25.6 (2010): 389-399。
圖像篡改檢測和定位（包括最近的深度學習參考） https://github.com/yannadani/image_tampering_detection_references
