ในเรื่องนี้จะมีการทบทวนDeep Convolutional Generative Adversarial Network (DCGAN)โดย Indico Research และ Facebook AI Research (FAIR) ด้วย DCGAN ลำดับชั้นของการเป็นตัวแทนจะได้เรียนรู้จากชิ้นส่วนวัตถุไปจนถึงฉากทั้งในเครื่องกำเนิดและตัวแบ่งแยก นี้เป็นกระดาษใน2,016 ICLRมีประมาณ6000 อ้างอิง ( Sik-Ho Tsang @ Medium)

(ในช่วงวันของ coronavirus ฉันหวังว่าจะเขียน 30 เรื่องในเดือนนี้เพื่อให้ตัวเองมีความท้าทายเล็ก ๆ น้อย ๆ นี่เป็นเรื่องที่ 16 ในเดือนเมษายน แต่วันนี้คือวันที่ 20 เมษายน 2020 ตารางงานค่อนข้างล้าหลังเล็กน้อย . แต่ฉันหวังว่าฉันจะทำได้สำเร็จแม้ว่าบางเรื่องจะสั้นและเกี่ยวข้องกับงานวิจัยของฉันมากกว่าเช่นการเข้ารหัส / การบีบอัดวิดีโอซึ่งไม่ใช่กระแสหลักของการพัฒนาการเรียนรู้เชิงลึก ... ฮ่า ๆ )

เค้าร่าง

1. ชุดข้อ จำกัด สำหรับการฝึกที่มั่นคง
2. สถาปัตยกรรมเครือข่าย
3. ผลการทดลอง

1.1. Convolutional net ทั้งหมดจะแทนที่ฟังก์ชัน spatial pooling ที่กำหนด (เช่นการรวมสูงสุด) ด้วยการแปลงแบบขั้นบันได

• เครื่องกำเนิดไฟฟ้าเรียนรู้การสุ่มตัวอย่างเชิงพื้นที่ของตัวเองโดยใช้การแปลง
• ในทำนองเดียวกันผู้แบ่งแยกจะเรียนรู้การสุ่มตัวอย่างเชิงพื้นที่ของตนเอง

• ชั้นแรกของเครื่องกำเนิดไฟฟ้าซึ่งใช้การกระจายสัญญาณรบกวนที่สม่ำเสมอZเป็นอินพุตอาจเรียกได้ว่าเชื่อมต่ออย่างสมบูรณ์เนื่องจากเป็นเพียงการคูณเมทริกซ์ แต่ผลลัพธ์จะถูกเปลี่ยนรูปร่างเป็นเทนเซอร์ 4 มิติและใช้เป็นจุดเริ่มต้นของกอง Convolution .
• สำหรับตัวแยกแยะเลเยอร์คอนโวลูชั่นสุดท้ายจะถูกทำให้แบนแล้วป้อนลงในเอาต์พุตซิกมอยด์เดียว
• แต่ไม่มีเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์สำหรับเลเยอร์ที่ซ่อนอยู่ทั้งหมด

• BNทำให้การเรียนรู้คงที่โดยการทำให้อินพุตของแต่ละหน่วยเป็นปกติเพื่อให้มีค่าเฉลี่ยเป็นศูนย์และความแปรปรวนของหน่วย
• อย่างไรก็ตามการนำBNไปใช้โดยตรงกับทุกเลเยอร์ทำให้เกิดการสั่นของตัวอย่างและความไม่เสถียรของโมเดล
• สิ่งนี้หลีกเลี่ยงได้โดยการไม่ใช้BNกับเลเยอร์เอาต์พุตของเครื่องกำเนิดไฟฟ้าและชั้นอินพุตตัวเลือก

• การเปิดใช้งาน ReLU ใช้ในเครื่องกำเนิดไฟฟ้ายกเว้นชั้นเอาต์พุตซึ่งใช้ฟังก์ชัน Tanh
• ภายในตัวแยกแยะพบว่าการเปิดใช้งานการแก้ไขที่รั่วไหล (LeakyReLU) ทำงานได้ดี

• เครื่องกำเนิดไฟฟ้าดังที่แสดงไว้ด้านบน Convolution เท่านั้นไม่มีเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์ตามข้อ จำกัด

• ตัวแยกแยะก็เหมือนกับตัวผกผันของเครื่องกำเนิดไฟฟ้า

• สามชุดข้อมูลที่ได้รับการฝึกฝน: LSUN , ImageNetและชุดข้อมูลที่ใบหน้าที่ประกอบขึ้นใหม่

• แบบจำลองได้รับการฝึกอบรมในชุดข้อมูลห้องนอน LSUN ที่มีตัวอย่างการฝึกอบรมมากกว่า 3 ล้านตัวอย่าง
• แบบจำลองนี้ไม่ได้ผลิตตัวอย่างที่มีคุณภาพสูงโดยใช้เพียงแค่การใส่อุปกรณ์ / การจำตัวอย่างการฝึกอบรมมากเกินไป

• DCGAN ได้รับการฝึกฝนเกี่ยวกับ ImageNet-1k จากนั้นใช้คุณสมบัติการแปลงร่างของดิสปิเนเตอร์จากทุกเลเยอร์โดยใช้การแสดงแต่ละเลเยอร์เพื่อสร้างตารางอวกาศ 4 × 4 จากนั้นคุณลักษณะเหล่านี้จะถูกทำให้แบนและเชื่อมต่อกันเพื่อสร้างเวกเตอร์มิติ 28672 และมีการฝึกลักษณนาม L2-SVM เชิงเส้นที่กำหนดไว้ด้านบน
• สิ่งนี้บรรลุความแม่นยำ 82.8% ซึ่งมีประสิทธิภาพดีกว่าวิธีการตาม K-mean ทั้งหมด

• CNN ที่ได้รับการดูแลอย่างหมดจดได้รับการฝึกฝน แต่ได้รับอัตราความผิดพลาดเพียง 28.87%
• แต่เมื่อใช้ DCGAN CNN เดียวกันจะได้รับอัตราความผิดพลาด 22.8%

• เวกเตอร์ Z เป็นเวกเตอร์nมิติในปริภูมิnมิติ
• หากมีการแก้ไขระหว่างเวกเตอร์2 zจะเห็นการเปลี่ยนแปลงทีละน้อยดังที่แสดงด้านบน
• การเดินในช่องว่างแฝงนี้ส่งผลให้เกิดการเปลี่ยนแปลงเชิงความหมายในการสร้างภาพ (เช่นการเพิ่มและลบวัตถุ)เราสามารถให้เหตุผลว่าโมเดลได้เรียนรู้การแสดงที่เกี่ยวข้องและน่าสนใจ

• แสดงให้เห็นว่าตัวเลขดังกล่าวข้างต้นว่าคุณสมบัติที่เรียนรู้จากการเปิดใช้งาน discriminator ในส่วนของห้องนอนโดยทั่วไปเช่นเตียงและหน้าต่าง

• โดยวาง“หน้าต่าง” กรองหน้าต่างบางส่วนจะถูกลบออกที่คนอื่นจะกลายเป็นวัตถุที่มีลักษณะที่มองเห็นคล้ายกันเช่นประตูและกระจก
• แม้ว่าคุณภาพของภาพจะลดลง แต่องค์ประกอบของฉากโดยรวมยังคงใกล้เคียงกันแต่การบอกว่าเครื่องกำเนิดไฟฟ้าทำงานได้ดีโดยไม่แยกการแสดงฉากจากการแสดงวัตถุ

• การคำนวณทางคณิตศาสตร์อย่างง่ายเผยให้เห็นโครงสร้างเชิงเส้นที่สมบูรณ์ในพื้นที่การแสดง
• เช่น vector ("King") - vector ("Man") + vector ("Woman") สามารถส่งผลให้เวกเตอร์ที่เพื่อนบ้านใกล้ที่สุดคือเวกเตอร์สำหรับราชินี
• การทดลองที่ทำงานกับตัวอย่างเดียวต่อแนวคิดนั้นไม่เสถียร แต่การหาค่าเฉลี่ยเวกเตอร์Zสำหรับตัวอย่างสามตัวอย่างแสดงให้เห็นว่ารุ่นที่สอดคล้องและคงที่ซึ่งปฏิบัติตามความหมายของเลขคณิต
• ดังแสดงในรูปด้านบนสำหรับแต่ละคอลัมน์เวกเตอร์Zของตัวอย่างจะถูกเฉลี่ย จากนั้นคำนวณเลขคณิตกับเวกเตอร์ค่าเฉลี่ยที่สร้างเวกเตอร์Yใหม่ Yนี้ถูกป้อนเข้าไปในเครื่องกำเนิดไฟฟ้าเป็นอินพุต
• มีการเพิ่มเสียงรบกวนที่สม่ำเสมอด้วยมาตราส่วน± 0.25 ในYเพื่อผลิตตัวอย่างอีก 8 ตัวอย่าง

• ท่าทางใบหน้าสามารถสร้างแบบจำลองเชิงเส้นในพื้นที่Z

• ในทางตรงกันข้ามเลขคณิตเวกเตอร์บนพื้นที่อินพุตได้ผลลัพธ์ที่ไม่ดี

[2016 ICLR] [DCGAN] การเรียนรู้การเป็นตัวแทนที่ไม่ได้รับการดูแลด้วยเครือข่ายผู้ไม่หวังดีที่มีวิวัฒนาการเชิง
ลึก

Generative Adversarial Network

[ GAN ] [ CGAN ] [ LAPGAN ] [ DCGAN ]

บทวิจารณ์ก่อนหน้าอื่น ๆ ของฉัน