P某的备忘录

用几分钟就可以了解的人工神经网络原理—初级网络—朴素贝叶斯分类器篇

用几分钟就可以了解的人工神经网络原理—初级网络—朴素贝叶斯分类器篇

封面图片 credit: from CodeSpeedy @ Purnendu Das
本节中,本P会介绍朴素贝叶斯方法。一个从名字上听上去就是很巧妙的方法。

名词解释

贝叶斯定理,工科类本科生相比对这个定理都耳熟能详。但为了照顾新手,本P还是贴出来这个模型的数学原型的介绍好了。

贝叶斯定理(英语:Bayes' theorem)是概率论中的一个定理,描述在已知一些条件下,某事件的发生几率。比如,如果已知某癌症与寿命有关,使用贝叶斯定理则可以通过得知某人年龄,来更加准确地计算出他罹患癌症的几率。
通常,事件A在事件B已发生的条件下发生的几率,与事件B在事件A已发生的条件下发生的几率是不一样的。然而,这两者是有确定的关系的,贝叶斯定理就是这种关系的陈述。贝叶斯公式的一个用途,即透过已知的三个几率而推出第四个几率。贝叶斯定理跟随机变量的条件几率以及边缘几率分布有关。由下式给出:

P(AB)=P(BA)P(A)P(B)P(A \mid B)=\frac{P(B \mid A) P(A)}{P(B)}

其中AA以及BB为随机事件,且P(B)P(B)不为零。P(AB)P(A|B)是指在事件BB发生的情况下事件AA发生的概率。

在贝叶斯定理中,每个名词都有约定俗成的名称:

  • P(AB)P(A|B)是已知BB发生后,AA的条件概率。也由于得自BB的取值而被称作AA的后验概率。
  • P(A)P(A)AA的先验概率(或边缘概率)。之所以称为"先验"是因为它不考虑任何BB方面的因素。
  • P(BA)P(B|A)是已知AA发生后,BB的条件概率。也由于得自AA的取值而被称作BB的后验概率。
  • P(B)P(B)BB的先验概率。

——来自维基百科

朴素贝叶斯分类器是什么?

在机器学习中,朴素贝叶斯分类器是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类器。
朴素贝叶斯自20世纪50年代已广泛研究。在20世纪60年代初就以另外一个名称引入到文本信息检索界中,并仍然是文本分类的一种热门(基准)方法,文本分类是以词频为特征判断文件所属类别或其他(如垃圾邮件、合法性、体育或政治等等)的问题。

——来自维基百科

上面的东西用人话讲就是,在分别知道某nn类事件单独发生的概率的情况下,根据新事物发生的特征情况,归类到一个事务的可能性。举个例子,在现行社会条件认知下,我们提到一个人穿裙子,那么这个人的生理性别是女性的可能性显然要高于是男性。如果提供更多判据,那么归类的可能性会更加精准。

代码实现

以下代码在 python 3.7 下编译通过。这次我们通过网络上的 Kaggle 数据集来进行该例程,该数据是印度人的节食数据。描述在这里,如果没有 Kaggle 账号的话,可以前往本P的仓库下载数据集

import csv
import math
import random
 ########### 导入数据集
 
def loadCsv(filename):
    lines = csv.reader(open(r'C:\Users\peter\Desktop\pima-indians-diabetes.data.csv'))
    dataset = list(lines)
    for i in range(len(dataset)):
        dataset[i] = [float(x) for x in dataset[i]]
return dataset

######## 训练/测试数据分割
def splitDataset(dataset, splitRatio):
    trainSize = int(len(dataset) * splitRatio)
    trainSet = []
    copy = list(dataset)
    while len(trainSet) < trainSize:
        index = random.randrange(len(copy))
        trainSet.append(copy.pop(index))
return [trainSet, copy]

def separateByClass(dataset):
    separated = {}
    for i in range(len(dataset)):
        vector = dataset[i]
        if (vector[-1] not in separated):
            separated[vector[-1]] = []
        separated[vector[-1]].append(vector)
return separated

######## 数据特征描述
def mean(numbers):
return sum(numbers)/float(len(numbers))

def stdev(numbers):
    avg = mean(numbers)
    variance = sum([pow(x-avg,2) for x in numbers])/float(len(numbers)-1)
return math.sqrt(variance)

def summarize(dataset):
    summaries = [(mean(attribute), stdev(attribute)) for attribute in zip(*dataset)]
    del summaries[-1]
return summaries

def summarizeByClass(dataset):
    separated = separateByClass(dataset)
    summaries = {}
    for classValue, instances in separated.items():
        summaries[classValue] = summarize(instances)
return summaries

######## 先验概率计算
def calculateProbability(x, mean, stdev):
    exponent = math.exp(-(math.pow(x-mean,2)/(2*math.pow(stdev,2))))
return (1/(math.sqrt(2*math.pi)*stdev))*exponent

def calculateClassProbabilities(summaries, inputVector):
    probabilities = {}
    for classValue, classSummaries in summaries.items():
        probabilities[classValue] = 1
        for i in range(len(classSummaries)):
            mean, stdev = classSummaries[i]
            x = inputVector[i]
        probabilities[classValue] *= calculateProbability(x, mean, stdev)
return probabilities

######### 模型预测
def predict(summaries, inputVector):
    probabilities = calculateClassProbabilities(summaries, inputVector)
    bestLabel, bestProb = None, -1
    for classValue, probability in probabilities.items():
        if bestLabel is None or probability > bestProb:
            bestProb = probability
            bestLabel = classValue
return bestLabel

def getPredictions(summaries, testSet):
    predictions = []
    for i in range(len(testSet)):
        result = predict(summaries, testSet[i])
    predictions.append(result)
return predictions

def getAccuracy(testSet, predictions):
    correct = 0
    for x in range(len(testSet)):
        if testSet[x][-1] == predictions[x]:
            correct += 1
return (correct/float(len(testSet)))*100.0

def main():
    filename = 'pima-indians-diabetes.data.csv'
    splitRatio = 0.67
    dataset = loadCsv(filename)
    trainingSet, testSet = splitDataset(dataset, splitRatio)
    print('Split {0} rows into train = {1} and test = {2} rows'.format(len(dataset),len(trainingSet),len(testSet)))
#prepare model
    summaries = summarizeByClass(trainingSet)
#test model
    predictions = getPredictions(summaries, testSet)
    accuracy = getAccuracy(testSet, predictions)
    print('Accuracy: {0}%'.format(accuracy))
 
main()

################################ Sample Output ###############################
################ Split 768 rows into train =514 and test = 254 rows
################ Accuracy: 65.74803149606299%

后记

后记? 唉,数据预处理还是大问题……多看看 pandas 的 docs 和 csv 吧。

还是那句话,这么简单的东西被集成在 sklearn 里面变成一句话解决的事情。但为了更好的解释这个算法执行的过程,本P还是全部实现了一遍。

Powered by Gridea. CopyRight 2018-2020 MrPeterJin's Media Dept.