เส้นแนวโน้มกับ Sklearn

วิธีการเขียนโค้ดด้วยเครื่องมือนี้เป็นครั้งแรกของฉันเป็นอย่างไร

ต่อจากเทพนิยายของฉันในการแก้ปัญหาหนังสือเกี่ยวกับสถิติสำหรับธุรกิจวันนี้เราจะพูดถึงแนวทางแรกของฉันในการใช้เครื่องมือ Machine Learning ควบคู่ไปกับแบบฝึกหัดในหนังสือ มันไม่ใช่แบบฝึกหัดการแก้ปัญหาที่ซับซ้อนมากมันค่อนข้างง่าย แต่มีบางสิ่งที่สำคัญที่ฉันได้เข้าไปและอยากจะแบ่งปันกับคุณที่นี่

ดังนั้นถ้าคุณไม่ได้อ่านตำราเก่าของฉันฉันขอแนะนำให้คุณ, คุณสามารถค้นหาได้ที่นี่ และฉันจะไปกับหนังสือ Statistic for Business and Economics โดย David R.Anderson, Dennis J. Sweeney และ Thomas A. Williams 11º edition แบบฝึกหัด 30 บทที่ 2

แผนอะไร?

ดังนั้นแนวคิดนี้ง่ายมากแบบฝึกหัดจะให้ชุดข้อมูลและขอให้คุณสร้างกราฟกระจายและสร้างเส้นแนวโน้ม

พูดตามตรงว่านั่นเป็นสิ่งที่ง่ายที่สุดที่คุณสามารถทำได้อย่างจริงจังเส้นแนวโน้มคือบรรทัดของรหัสหากคุณต้องการใช้บางอย่างเช่น Pandas, Numpy หรือไลบรารีอื่น ๆ แต่ฉันตัดสินใจไปกับ sci-kit Learn ทำไม? ลองดูที่อินเทอร์เน็ตถ้าคุณต้องการได้เมตริกประเภทใด ๆ หากโมเดลของคุณดีพอคุณจะต้องใช้ r2_score เป็นเครื่องมือ sklearn เป็นอย่างน้อยดังนั้นถ้าฉันมุ่งหน้าไปทางนี้ทำไมไม่ ฉันไม่ไปตลอดทาง?

โอเค แต่ทำไมตัวเลือกที่ชัดเจนเช่นนี้?

เพื่อนของฉันฉันจะให้เวอร์ชันที่รวดเร็ว แต่จริงๆแล้วอ่านเกี่ยวกับเรื่องนี้อย่างเร่งด่วนเพราะคุณต้องการความช่วยเหลืออย่างจริงจัง แต่เส้นแนวโน้มสร้างขึ้นจากการถดถอยเชิงเส้นบางประเภทนี่เป็นเทคนิคในการค้นหาสมการที่เหมาะสมที่สุดที่จะรวมรายการข้อมูลทั้งหมดของคุณ

เหตุใดสิ่งนี้จึงสำคัญสำหรับนักวิทยาศาสตร์ข้อมูล โดยพื้นฐานแล้วเนื่องจากคุณสามารถทำนายค่าบางอย่างจากสมการนั้นได้และนั่นก็มีค่า มีหลายวิธีในการทำที่นี่ฉันใช้วิธีกำลังสองน้อยที่สุดโดยไม่ได้ลงลึกเกินไปในคณิตศาสตร์ของเทคนิคนี้ แต่แบบจำลองนี้สร้างสมการของเส้นที่มีระยะใกล้ที่สุดเท่าที่จะเป็นไปได้กับจุดที่คุณ แม้ว่าค่าของคุณจะเป็นลบก็ตาม

Sklearn มีวิธีอื่น ๆ ในการสร้างการถดถอยเชิงเส้นด้วยเช่นกันซึ่งซับซ้อนและซับซ้อนมากเพื่อให้คุณทราบว่าวิธีใดที่เหมาะกับคุณที่สุด แต่สำหรับตอนนี้ฉันจะพูดง่ายๆว่าประเด็นนี้คือการเรียนรู้เพิ่มเติม เกี่ยวกับวิธีใช้มากกว่าการใช้เครื่องเวกเตอร์สนับสนุนสำหรับชุดข้อมูลที่เรียบง่ายมาก

แล้วผลลัพธ์คืออะไร?

ดังนั้นนี่คือรหัสผลลัพธ์จากความพยายามนี้:

# 30.
import pandas as pd
from sklearn import linear_model
from sklearn.metrics import mean_squared_error, r2_score
import matplotlib.pyplot as plt
scatter = pd.read_excel('~/Documentos/projetos_ds/livro_1/excel_files/ch_02/Scatter.xlsx', 'Data')
print(scatter)
# A)
scatter_x_train = scatter.iloc[0:19, 1:2]
scatter_x_test = scatter.iloc[0:19, 1:2]
scatter_y_train = scatter.iloc[0:19, 2]
scatter_y_test = scatter.iloc[0:19, 2]
trend = linear_model.LinearRegression()
model = trend.fit(scatter_x_train, scatter_y_train)
scatter_y_pred = trend.predict(scatter_x_test)
print('The coeffitient is: {0}'.format(trend.coef_))
print('The intercept is: {0}'.format(trend.intercept_))
print('The correlation of the values is: {0}'.format(r2_score(scatter_y_test, scatter_y_pred)))
plt.scatter(scatter_x_test, scatter_y_test,  color='black')
plt.plot(scatter_x_test, scatter_y_pred, color='blue', linewidth=1)
plt.xticks(())
plt.yticks(())
plt.show()

ตอนนี้ให้ฉันบอกคุณเกี่ยวกับตัวเลือกของฉันที่นี่โดยเริ่มจากรายการข้อมูลหากคุณอ่านโพสต์ล่าสุดของฉันคุณจะรู้วิสัยทัศน์ของฉันเกี่ยวกับเนื้อหาการศึกษาฟรีบนอินเทอร์เน็ตและวิธีที่คุณเรียนรู้เพิ่มเติมโดยการอ่านไฟล์เอกสาร นี่คือสิ่งที่เกิดขึ้นในประเทศของฉันเราไม่มีคำที่จะกำหนดอาร์เรย์เราเรียกทุกอย่างว่าเมทริกซ์ดังนั้นเมทริกซ์ 1D คืออาร์เรย์และอาร์เรย์ 2 มิติคือเมทริกซ์ในบราซิลเมทริกซ์ทั้งหมด ฉันค่อนข้างแน่ใจว่าฉันได้เรียนรู้สิ่งนี้ในเนื้อหาการเข้ารหัสฟรีบน youtube เมื่อประมาณหนึ่งปีที่แล้วและมันก็สับสนมากเมื่อนำไปใช้กับปัญหาในทางปฏิบัติ

ตกลงเนื่องจากความเท่าเทียมกันนั้นสิ่งต่าง ๆ จึงแปลกในตอนแรกเนื่องจาก sklearn เห็นว่ามันต่างออกไปถ้าคุณมีชุดแพนด้าที่เป็นคอลัมน์เดียวมันก็เป็นอาร์เรย์ 2 มิติและคุณต้องป้อนค่า x ใด ๆ ให้กับคุณ แบบ. ดังนั้นเห็นได้ชัดว่านี่เป็นลักษณะที่สำคัญมากในการเรียนรู้การทำงานเกี่ยวกับการถดถอยเชิงเส้นดังนั้นเหตุผลก็คือมันคำนวณจำนวนแถวที่คุณมีในชุดข้อมูลของคุณ (n_samples) และคุณลักษณะที่เป็น x (n_features) ของคุณซึ่งอาจเป็นได้ มากกว่าหนึ่งในการวิเคราะห์หลายตัวแปร แต่นี่เป็นเพียงหนึ่งเดียวซึ่งกลายเป็นว่าคำจำกัดความนั้นไม่ได้ผิดทั้งหมด แต่เป็นการเสียเวลาโดยไม่จำเป็นในการแก้ปัญหาในทางปฏิบัติ

ประการที่สองฉันคำนวณทุกบรรทัดทุกที่ทำไม? ฉันไม่ต้องการทำนายอะไรเลยเพียงเพื่อให้พอดีกับเส้นแนวโน้มฉันรู้ว่ามันฟังดูเป็นการใช้เครื่องมือทรงพลังแบบนี้ในทางที่ผิด แต่การที่เหมาะสมกับจุดประสงค์นี้คือการสำรวจคุณสมบัติบางอย่างของเครื่องมือนี้และเมื่อถึงเวลา ทำนายอะไรดีฉันจะรู้วิธีทำนายบางอย่างฉันยังไม่แน่ใจ 100% ว่าถูกต้องหรือไม่ แต่ได้ผลแน่นอน

ทำงานมากจนผลลัพธ์ของฉันคือ y = 4.66–0.95x และR²ของฉันคือ 0.73 ซึ่งเป็นความสัมพันธ์ที่แข็งแกร่งมาก

ประเด็นสุดท้ายที่ฉันได้เรียนรู้เพิ่มเติมเกี่ยวกับคุณสมบัตินี้ใน sklearn วิธีการทำนายคือสิ่งที่ทำให้โมเดลของเรามีใบหน้าเมื่อถูกพล็อตในกราฟดังนั้นมีสองสิ่งที่ฉันคิดว่าเหมาะกับจุดประสงค์นี้ตัวแปรโมเดลและscatter_y_predที่จะลงจุดครั้งแรกให้การคาดคะเนค่า x และการคาดคะเนที่สองให้ค่า y

และการพล็อตกราฟฉันใช้ Matplotlib เพราะมันมีอยู่ในตัวอย่าง แต่สามารถแปลงเป็น Plotly ได้อย่างง่ายดาย แต่สำหรับการฝึกฝนเครื่องมือใหม่ ๆ นี่เป็นวิธีการเรียนรู้ของฉัน รายละเอียดอื่น ๆ ฉันแก้ไขปัญหาของฉันระหว่าง Jupyter Notebooks และ Matplotlib สิ่งนี้เป็นข้อผิดพลาดมือใหม่มากอีกครั้งหากคุณเห็นเมื่อนำเข้า Matplotlib ฉันไม่ได้ใช้. pyplot ทำให้อ้าปากค้างที่รุ่นน้องเท่านั้นที่ให้เมื่อเขียนโค้ด

ตอนนี้เป็นอย่างไร

ดังนั้นฉันจึงตัดสินใจโพสต์เกี่ยวกับเรื่องนี้โดยมีสองด้านคือด้านเทคนิคมากและอีกด้านหนึ่งที่พูดถึงสถิติมากขึ้น ด้วยวิธีนี้ฉันสามารถใส่กล้วยได้มากขึ้นในแต่ละหน้าโดยไม่ต้องคิดว่า 'มันยาวเกินไป'

คุณคิดอย่างไร? ฉันชอบที่จะได้ยินความคิดของคุณเกี่ยวกับวิธีการที่ดีที่สุดในการเรียนรู้เครื่องมือเหล่านี้ดูเหมือนจะเป็นวิธีที่ดีในการฝึกฝนและสร้างพื้นฐานเกี่ยวกับสถิติและถ้าฉันทำถูกต้องโดยใช้ทุกบรรทัดเพื่อให้พอดีกับเส้นแนวโน้มของชุดข้อมูล

โดยรวมแล้วจงปลอดภัยและดูแลเรียนรู้ต่อไป