刚入门R语言，尝试使用R编写一个逻辑回归

Muse_Knight

1. # 导入数据
   
2. data_train <- read.table("C:/Code/R/RData/iris_train.csv", header=TRUE, sep=",")
   
3. X_train <- as.matrix(data_train[, -5])
   
4. y_train <-  matrix(data_train[, 5])
   
5. 
   
6. data_test <- read.table("C:/Code/R/RData/iris_test.csv", header=TRUE, sep=",")
   
7. X_test <- as.matrix(data_test[, -5])
   
8. y_test <-  matrix(data_test[, 5])

复制代码

1. # 各个函数定义
   
2. 
   
3. sigmoid <- function(X) {
   
4.     # 定义sigmoid函数
   
5.     # 依照sigmoid(X) = 1 / (1 + exp(-X))公式对该函数实现做以下修改
   
6.     # 对X中大于等于0的元素使用公式 1 / (1 + exp(-X))
   
7.     # 对X中小于0的元素使用公式 exp(X) / (1 + exp(X))
   
8.     X[X>=0] <- 1 / (1 + exp(-X[X>=0]));
   
9.     X[X<0] <- exp(X[X<0]) / (1 + exp(X[X<0]));
   
10.     return (X);
    
11. }
    
12. 
    
13. loss <- function(X, y, W) {
    
14.     # 定义损失函数（二分类交叉熵）
    
15.     sigma <- sigmoid(X %*% W);
    
16.     # 其中加上1e-5是为了防止出现log(0)的情况
    
17.     L <- sum(y * log(sigma + 1e-5) + (1- y) * log(1 - sigma + 1e-5));
    
18.     return (-L);
    
19. }
    
20. 
    
21. fit_W <- function(X, y, alpha=0.01, eps=1e-5, n_iters=1e4) {
    
22.     # 训练函数，返回权重W
    
23.     X <- as.matrix(X);
    
24.     y <- as.matrix(y, length(X), 1);
    
25.    
    
26.     rows <- dim(X)[1];
    
27.     columns <- dim(X)[2];
    
28.     W <- matrix(0, columns, 1);
    
29.    
    
30.     i <- 0;
    
31.     # 简单的梯度下降
    
32.     while (T) {
    
33.         W_last <- W;
    
34.         sigma <- sigmoid(X %*% W);
    
35.         dw <- t(X) %*% (sigma - y);
    
36.         W <- W - alpha * dw;
    
37. 
    
38.         if (abs(loss(X, y, W_last) - loss(X, y, W)) < eps) {
    
39.             break;
    
40.         }
    
41.         
    
42.         if (i > n_iters) {
    
43.             print("超过最大迭代次数");
    
44.             break;
    
45.         }
    
46.         
    
47.         i = i + 1;
    
48.     }
    
49.    
    
50.     return (W);
    
51. }
    
52. 
    
53. predict <- function(X_test, W) {
    
54.     sigma <- sigmoid(X_test %*% W);
    
55.    
    
56.     sigma_last <- sigma;
    
57.     sigma[sigma >= 0.5] <- 1;
    
58.     sigma[sigma < 0.5] <- 0;
    
59.    
    
60.     return (c(sigma))
    
61. }
    
62. 
    
63. score <- function(X_test, y_test, W) {
    
64.    
    
65.     y_length <- length(y_test);
    
66.     X_test <- as.matrix(X_test);
    
67.     y_test <- as.matrix(y_test, y_length, 1);
    
68.    
    
69.     y_pre <- matrix(predict(X_test, W), y_length, 1);
    
70.     score <- sum(y_test == y_pre) / y_length;
    
71.    
    
72.     return (score);
    
73. }
    

复制代码

1. # 进行训练、返回结果

复制代码

       本人刚刚接触R语言，有一点Python的基础，同时对很多R的语法、函数不是很清楚。本次尝试编写了一个简单的二分类逻辑回归，但发现只能写一些函数进行调用，找不到办法对上述函数进行封装。希望各位大佬给点意见。

Muse_Knight

1. # 进行训练、返回结果
   
2. w <- fit_W(X_train, y_train, alpha=0.01, eps=1e-5, n_iters=1e4)
   
3. score(X_test, y_test, w)

复制代码

boboqiu

厉害，厉害javascript:void(0)