Siêu tham số: Đây là những giá trị / trọng số nhất định xác định quá trình học của một thuật toán.

Các thông số nhất định cho mô hình Học máy: tốc độ học, alpha, độ sâu tối đa, mẫu col, trọng số, gamma, v.v.

Các thông số nhất định cho mô hình Deep Learning : đơn vị (không phải đơn vị), lớp (không có lớp), tỷ lệ bỏ lớp, bộ điều chỉnh hạt nhân, chức năng kích hoạt, v.v.

Tối ưu hóa siêu tham số là việc lựa chọn tham số tối ưu hoặc tốt nhất cho thuật toán học máy / học sâu. Thông thường, chúng tôi kết thúc việc điều chỉnh hoặc huấn luyện mô hình theo cách thủ công với nhiều loại thông số có thể có cho đến khi có được mô hình phù hợp nhất. Điều chỉnh siêu tham số giúp xác định các tham số được điều chỉnh tối ưu và trả về mô hình phù hợp nhất, đây là phương pháp hay nhất để làm theo khi xây dựng mô hình ML / DL.

Trong phần này, chúng tôi thảo luận về một trong những phương pháp siêu thông số chính xác và thành công nhất, đó là HYPEROPT.

Tối ưu hóa không có gì khác ngoài việc tìm ra hàm chi phí tối thiểu, xác định hiệu suất tổng thể tốt hơn của một mô hình trên cả tập đoàn tàu và tập hợp thử nghiệm.

HYPEROPT: Đây là một thư viện python mạnh mẽ tìm kiếm thông qua không gian siêu tham số của các giá trị. Nó thực hiện ba chức năng để giảm thiểu chức năng chi phí,

1. Tìm kiếm ngẫu nhiên
2. TPE (Công cụ ước tính Parzen cây)
3. TPE thích ứng

import hyperopt
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials

• hp.choice(label, options) - Trả về một trong các tùy chọn, phải là một danh sách hoặc bộ dữ liệu.
• hp.randint(label, upper) - Trả về một số nguyên ngẫu nhiên giữa phạm vi [0, trên).
• hp.uniform(label, low, high)- Trả về một giá trị đồng nhất giữa lowvà high.
• hp.quniform(label, low, high, q) - Trả về một vòng giá trị (đồng nhất (thấp, cao) / q) * q, tức là nó làm tròn các giá trị thập phân và trả về một số nguyên
• hp.normal(label, mean, std) - Trả về một giá trị thực được phân phối chuẩn với giá trị trung bình và độ lệch chuẩn sigma.

Bước 1: Khởi tạo không gian hoặc phạm vi giá trị bắt buộc:

Bước 2: Xác định hàm mục tiêu:

Bước 3: Chạy chức năng Hyperopt:

Ở đây, 'tốt nhất' cung cấp cho bạn các tham số tối ưu phù hợp nhất với mô hình và giá trị hàm mất mát tốt hơn. ' thử nghiệm ', nó là một đối tượng có chứa hoặc lưu trữ tất cả các thông tin thống kê và chẩn đoán như siêu tham số, các hàm tổn thất cho mỗi tập hợp các tham số mà mô hình đã được huấn luyện. ' fmin ', đây là một hàm tối ưu hóa để giảm thiểu hàm mất mát và nhận vào 4 đầu vào. Thuật toán được sử dụng là ' tpe.suggest ', thuật toán khác có thể được sử dụng là ' tpe.rand.suggest '.

* Đào tạo lại thuật toán mô hình bằng cách sử dụng các tham số tốt nhất thu được bằng cách sử dụng hyperopt và đánh giá nó dựa trên bộ thử nghiệm hoặc sử dụng nó để dự đoán *

Các bước liên quan đến hyperopt cho một thuật toán học sâu / mạng nơ-ron:

Bước 1: Khởi tạo không gian hoặc phạm vi giá trị bắt buộc:

Bước 2: Xác định hàm mục tiêu:

Bước 3: Chạy chức năng Hyperopt:

* Đào tạo lại thuật toán mô hình bằng cách sử dụng các tham số tốt nhất thu được bằng cách sử dụng hyperopt và đánh giá nó dựa trên bộ thử nghiệm hoặc sử dụng nó để dự đoán *

Phần kết luận:

Chúng ta đã thảo luận về cách sử dụng thư viện sklearn python 'hyperopt' được ưa chuộng rộng rãi trong lĩnh vực Khoa học dữ liệu. Điều chỉnh siêu tham số là một bước quan trọng trong việc xây dựng mô hình thuật toán học và nó cần được xem xét kỹ lưỡng. Thư viện python đa dạng khác để điều chỉnh siêu tham số cho mạng thần kinh là 'hyperas'. Hãy comment bên dưới nếu có thắc mắc liên quan đến bài viết.