เรียนรู้การใช้สคริปต์ที่จัดทำโดยเอกสาร AutoML เพื่อแปลงไฟล์ข้อความของคุณเป็นรูปแบบ jsonl

หากคุณเริ่มต้นด้วยสิ่งที่เกี่ยวข้องกับ AutoML NLP บน GCP คุณก็รู้ขั้นตอนแรกอยู่แล้ว แปลงเอกสารของคุณให้อยู่ใน.jsonlรูปแบบก่อนที่จะส่งเป็นข้อมูลการฝึกอบรม เอกสารAutoMLมีสคริปต์หลามให้คุณอยู่แล้ว แต่ถ้าคุณพบว่าสคริปต์เข้าใจยากหรือใช้งานยาก แสดงว่าคุณไม่ได้อยู่คนเดียว!

เมื่อฉันกำลังดูเอกสาร ฉันหวังว่าจะมีคำแนะนำทีละขั้นตอนในการใช้สคริปต์หลามดังนั้นนี่คือ

AutoML คืออะไร

AutoML เป็นหนึ่งในองค์ประกอบสำคัญของ AI บน Google Cloud Platform มีประโยชน์อย่างยิ่งเมื่อคุณต้องการสร้างและฝึกโมเดลคุณภาพสูงแบบกำหนดเอง และมีความเชี่ยวชาญด้านแมชชีนเลิร์นนิงจำกัดที่จะทำเช่นเดียวกัน มันมีอินเทอร์เฟซที่จะช่วยคุณถ่ายโอนข้อมูลของคุณไปยังอัลกอริทึมเพื่อสร้างแบบจำลองของคุณ โดยจะเลือกสถาปัตยกรรมโครงข่ายประสาทเทียมที่ดีที่สุดโดยอัตโนมัติ และปรับไฮเปอร์พารามิเตอร์สำหรับคุณตามเป้าหมายของคุณ โดยพื้นฐานแล้ว จะช่วยประหยัดความพยายามด้วยตนเองในการฝึกซ้ำและการปรับแต่งอย่างละเอียด

ดังนั้น ขั้นตอนที่ 1 — รับข้อมูลของคุณ!

ฉันจะไม่เขียนเกี่ยวกับขั้นตอนทั้งหมดในกระบวนการของการสร้างแบบจำลองและการฝึกอบรมใน AutoML ในขณะที่คุณสามารถค้นหาได้เอกสารที่ดีมากที่นี่ เรามุ่งเน้นที่งานทำให้เกิดการเสียดสีเล็กน้อย

ตรวจสอบให้แน่ใจว่าไฟล์ PDF ของคุณมีขนาด < 2 Mb หากมีรูปภาพหรือข้อมูลกราฟิก คุณอาจต้องการอ่านบทความนี้เพื่ออธิบายวิธีดึงข้อมูลที่เป็นข้อความจากรูปภาพใน PDF โดยใช้ cloud vision API และแน่นอน python

การแปลง PDF เป็น JSONL — ใน gCloud shell

สคริปต์นี้สามารถเรียกใช้ในเชลล์บรรทัดคำสั่ง gCloud หรือหากคุณติดตั้ง gCloud SDK แล้ว คุณสามารถเรียกใช้สคริปต์ได้โดยตรงจากเครื่องของคุณและแปลงไฟล์ PDF ที่จัดเก็บไว้ใน GCS buckets ในไฟล์ jsonl มันเขียนไว้ใน Python2 และใช้เวลาในสามข้อโต้แย้ง - ชื่อไฟล์สคริปต์เส้นทางไปยังไฟล์ PDF และเส้นทางไปยังถังปลายทาง

python2 <script> gs://<path_to_src_pdf> gs://<dest_bucket>/

      

       Upload the script and your source pdf files to a GCS bucket [Photo by author]
      

1. ติดตั้ง python2 ในคลาวด์เชลล์ sudo apt install python2
2. สร้างถัง GCS ในภูมิภาค ( us-central1) standardและชุดชั้นจัดเก็บข้อมูลเพื่อ ภูมิภาคจะต้องใช้us-central1สำหรับการประมวลผล AutoML (ข้อมูล ณ ก.ย. 61)
3. คัดลอกสคริปต์ที่จัดเก็บไว้ในบัคเก็ต GCS ในโฮมไดเร็กทอรีคลาวด์เชลล์ของคุณ gsutil -m cp gs://<path_to_script>
4. ขั้นตอนที่ 4 คือการโหลดสคริปต์ในโฮมไดเร็กทอรีของ cloud shell VM เรียกใช้lsเพื่อยืนยันว่าคัดลอกสคริปต์สำเร็จหรือไม่
5. ในคลาวด์เชลล์ ให้รัน python2 input_helper_v2.py gs://<path_to_src_pdf> gs://<path_to_gcs_bucket>/

ชุดข้อมูล CSV ที่มี URI ของไฟล์ jsonl (ซึ่งคุณใช้นำเข้าข้อมูลการฝึกได้โดยตรง) และไฟล์ jsonl ได้ถูกสร้างขึ้นและจัดเก็บไว้ในบัคเก็ต GCS ปลายทางที่คุณระบุ ไปที่เอกสาร (นำเข้าข้อมูลการฝึกของคุณในคอนโซล autoMl) และสร้างแบบจำลองที่กำหนดเองของคุณต่อไป!