Estimasi Parameter Regresi
Gambaran Umum Regresi
Analisis regresi merupakan metode statistik yang digunakan untuk memodelkan hubungan antara satu variabel dependen (respon) dengan satu atau lebih variabel independen (prediktor). Model regresi linear digunakan secara luas di berbagai bidang seperti:
- Bisnis: memperkirakan penjualan berdasarkan belanja iklan
- Kesehatan: memprediksi tekanan darah berdasarkan usia dan berat badan
- Rekayasa Perangkat Lunak: mengestimasi effort atau waktu pengembangan berdasarkan jumlah fitur dan kompleksitas sistem
Pengantar Ordinary Least Squares (OLS)
Ordinary Least Squares (OLS) adalah metode statistik yang paling umum digunakan untuk estimasi parameter dalam model regresi. Metode ini bertujuan untuk menemukan nilai parameter yang meminimalkan jumlah kuadrat dari selisih antara nilai observasi dan nilai prediksi model regresi. Dalam regresi linear sederhana, modelnya adalah sebagai berikut:
\[ y = \beta_0 + \beta_1 x + \epsilon \]
Di mana:
- \(y\) adalah variabel dependen (nilai yang ingin diprediksi),
- \(\beta_0\) adalah intercept atau konstanta,
- \(\beta_1\) adalah koefisien regresi atau slope,
- \(x\) adalah variabel independen (faktor yang mempengaruhi nilai \(y\)),
- \(\epsilon\) adalah error term atau gangguan yang tidak dapat dijelaskan oleh model.
Tujuan OLS
Metode OLS mencari estimasi terbaik untuk parameter \(\beta_0\) dan \(\beta_1\) dengan meminimalkan Sum of Squared Errors (SSE), yang didefinisikan sebagai jumlah kuadrat dari selisih antara nilai observasi \(y_i\) dan nilai prediksi \(\hat{y}_i\):
\[ SSE = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \]
Proses Estimasi Parameter OLS
Estimasi Koefisien Regresi (\(\beta_1\)):
Koefisien regresi \(\beta_1\) dihitung menggunakan rumus berikut:
\[ \beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} \]
Rumus ini mengukur kemiringan garis regresi (slope) dengan membandingkan perubahan \(y\) terhadap perubahan \(x\).
Estimasi Intercept (\(\beta_0\)):
Setelah \(\beta_1\) dihitung, intercept \(\beta_0\) dapat dihitung dengan rumus:
\[ \beta_0 = \bar{y} - \beta_1 \bar{x} \]
Di mana \(\bar{x}\) dan \(\bar{y}\) adalah rata-rata dari data \(x\) dan \(y\).
Contoh Perhitungan Regresi Sederhana secara Manual
Misalkan kita memiliki data dummy sebagai berikut:
| x (Jam Belajar) | y (Nilai Ujian) |
|---|---|
| 1 | 50 |
| 2 | 55 |
| 3 | 65 |
| 4 | 70 |
| 5 | 75 |
Langkah 1: Hitung rata-rata
\[ \bar{x} = \frac{1 + 2 + 3 + 4 + 5}{5} = 3 \]
\[ \bar{y} = \frac{50 + 55 + 65 + 70 + 75}{5} = 63 \]
Langkah 2: Hitung Koefisien Slope
Gunakan rumus:
\[ \beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} \]
| \[x_i\] | \[y_i\] | \[x_i - \bar{x}\] | \[y_i - \bar{y}\] | \[(x_i - \bar{x})(y_i - \bar{y})\] | \[(x_i - \bar{x})^2\] |
|---|---|---|---|---|---|
| 1 | 50 | -2 | -13 | (26) | (4) |
| 2 | 55 | -1 | -8 | (8) | (1) |
| 3 | 65 | 0 | 2 | (0) | (0) |
| 4 | 70 | 1 | 7 | (7) | (1) |
| 5 | 75 | 2 | 12 | (24) | (4) |
| Σ | 65 | 10 |
\[ \beta_1 = \frac{65}{10} = 6.5 \]
Langkah 3: Hitung Intercept
\[ \beta_0 = \bar{y} - \beta_1 \bar{x} = 63 - 6.5(3) = 43.5 \]
Persamaan Regresi
\[ \hat{y} = 43.5 + 6.5x \]
Evaluasi Model
Hitung nilai prediksi, residual, SSE, MSE, dan R-Square:
| \[x_i\] | \[y_i\] | \[\hat{y}_i = 43.5 + 6.5x_i\] | \[e_i = y_i - \hat{y}_i\] | \[e_i^2\] |
|---|---|---|---|---|
| 1 | 50 | 50.0 | 0.0 | 0.00 |
| 2 | 55 | 56.5 | -1.5 | 2.25 |
| 3 | 65 | 63.0 | 2.0 | 4.00 |
| 4 | 70 | 69.5 | 0.5 | 0.25 |
| 5 | 75 | 76.0 | -1.0 | 1.00 |
| Σ | 7.5 |
- SSE (Sum of Squared Errors):
\[ \sum e_i^2 = 7.5 \]
- MSE (Mean Squared Error):
\[ \frac{SSE}{n} = \frac{7.5}{5} = 1.5 \]
- Total Sum of Squares (SST):
\[ \sum (y_i - \bar{y})^2 = 530 \]
- R² (Koefisien Determinasi):
\[ R^2 = 1 - \frac{SSE}{SST} = 1 - \frac{7.5}{530} \approx 0.9858 \]
Regresi Berganda
Pada tutorial ini, kita akan melakukan perhitungan regresi linier berganda secara manual menggunakan pendekatan Ordinary Least Squares (OLS). Misalkan kita memiliki data berikut:
| Observasi | X₁ | X₂ | Y |
|---|---|---|---|
| 1 | 1 | 2 | 5 |
| 2 | 2 | 3 | 7 |
| 3 | 3 | 4 | 9 |
| 4 | 4 | 5 | 11 |
| 5 | 5 | 6 | 13 |
Kita akan memprediksi nilai Y berdasarkan dua variabel independen X₁ dan X₂.
Langkah-langkah Perhitungan
1. Menghitung Statistik Deskriptif
Rata-rata dari X₁, X₂, dan Y:
\[ \bar{X₁} = \frac{\sum{X₁}}{n} = \frac{1+2+3+4+5}{5} = 3 \]
\[ \bar{X₂} = \frac{\sum{X₂}}{n} = \frac{2+3+4+5+6}{5} = 4 \]
\[ \bar{Y} = \frac{\sum{Y}}{n} = \frac{5+7+9+11+13}{5} = 9 \]
2. Menyusun Matriks X dan Y
Matriks X dan Y disusun sebagai berikut:
\[ X = \begin{pmatrix} 1 & X₁_1 & X₂_1 \\ 1 & X₁_2 & X₂_2 \\ 1 & X₁_3 & X₂_3 \\ 1 & X₁_4 & X₂_4 \\ 1 & X₁_5 & X₂_5 \end{pmatrix} = \begin{pmatrix} 1 & 1 & 2 \\ 1 & 2 & 3 \\ 1 & 3 & 4 \\ 1 & 4 & 5 \\ 1 & 5 & 6 \end{pmatrix} \]
\[ Y = \begin{pmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \\ Y_5 \end{pmatrix} = \begin{pmatrix} 5 \\ 7 \\ 9 \\ 11 \\ 13 \end{pmatrix} \]
Penjelasan tentang Kolom Pertama pada Matriks X
Pada matriks X, kolom pertama berisi angka 1 untuk setiap pengamatan. Hal ini dilakukan untuk memungkinkan perhitungan intercept (konstanta) dalam model regresi. Intercept (β₀) adalah nilai Y ketika semua variabel independen (X₁ dan X₂) bernilai nol. Tanpa kolom ini, kita tidak dapat menghitung β₀ dan model hanya akan memprediksi nilai Y yang melalui titik asal (0,0).
Dalam regresi linier berganda, persamaan regresi dapat ditulis sebagai:
\[ Y = \beta_0 + \beta_1 X₁ + \beta_2 X₂ \]
Untuk menyusun matriks X yang sesuai dengan model ini, kita menambahkan kolom yang berisi angka 1 di setiap barisnya, yang mewakili intercept β₀. Dengan cara ini, perhitungan model regresi akan mencakup konstanta yang diperlukan untuk estimasi yang lebih akurat.
3. Menghitung Matriks Transpose X (Xᵀ)
\[ X^T = \begin{pmatrix} 1 & 1 & 1 & 1 & 1 \\ 1 & 2 & 3 & 4 & 5 \\ 2 & 3 & 4 & 5 & 6 \end{pmatrix} \]
4. Menghitung Matriks dan Inversenya
Matriks dihitung sebagai berikut:
\[ X^T X = \begin{pmatrix} 5 & 15 & 20 \\ 15 & 55 & 70 \\ 20 & 70 & 90 \end{pmatrix} \]
Kemudian, kita hitung inversenya:
\[ (X^T X)^{-1} = \begin{pmatrix} 0.0159 & -0.0045 & 0.0032 \\ -0.0045 & 0.0019 & -0.0014 \\ 0.0032 & -0.0014 & 0.0012 \end{pmatrix} \]
5. Menghitung Koefisien
Koefisien regresi dihitung dengan rumus:
\[ \beta = (X^T X)^{-1} X^T Y \]
Hasil perkalian ini adalah:
\[ \beta = \begin{pmatrix} -1 \\ 2 \\ 1 \end{pmatrix} \]
6. Persamaan Regresi Linier Berganda
Dengan koefisien yang sudah dihitung, persamaan regresi linier berganda adalah:
\[ Y = -1 + 2X₁ + 1X₂ \]