利用Python,我们可以实现很多目标,比如说建立一个你专属的聊天机器人程序。聊天机器人程序不光满足个人需求,它对商业组织和客户都非常有帮助。大多数人喜欢直接通过聊天室交谈,而不是打电话给服务中心。
运用Python,咱们能够完结许多方针,比如说树立一个你专属的谈天机器人程序。
谈天机器人程序不但满意个人需求,它对商业安排和客户都十分有协助。大多数人喜爱直接经过谈天室攀谈,而不是打电话给服务中心。
Facebook发布的数据证明了机器人的价值。每月有超越20亿条信息在人和公司之间发送。HubSpot的研讨显现,71%的人期望从信息应用程序取得客户支撑。这是解决问题的快速办法,因而谈天机器人在安排中有着光亮的未来。
今日要做的是在Chatbot上树立一个令人兴奋的项目。从零开端完结一个谈天机器人,它将能够了解用户正在议论的内容并给出恰当的回应。
先决条件
为了完结谈天机器人,将运用一个深度学习库Keras,一个自然言语处理工具包NLTK,以及一些有用的库。运转以下指令以保证安装了一切库:
- pipinstalltensorflowkeraspicklenltk
谈天机器人是怎么作业的?
谈天机器人仅仅一个智能软件,能够像人类相同与人互动和沟通。很风趣,不是吗?现在来看看它们是怎么作业的。
一切谈天机器人都根据自然言语处理(NLP)概念。NLP由两部分组成:
- NLU(自然言语了解):机器了解人类言语(如英语)的才能。
- NLG(自然言语生成):机器生成类似于人类书面语句的文本的才能。
幻想一个用户问谈天机器人一个问题:“嘿,今日有什么新闻?”
该谈天机器人就会将用户语句分解为两个部分:目的和实体。这句话的目的可能是获取新闻,由于它指的是用户期望履行的操作。实体告知了关于目的的详细细节,所以“今日”将是实体。因而,这儿运用机器学习模型来辨认谈天的目的和实体。
项目文件结构
项目完结后,将留下一切这些文件。快速阅读每一个。它将给开发员一个怎么施行该项目的主意。
- Train_chatbot.py-在本文件中,构建和练习深度学习模型,该模型能够分类和辨认用户向机器人提出的要求。
- Gui_Chatbot.py-这个文件是构建图形用户界面用来与练习后的谈天机器人谈天的当地。
- Intents.json-Intents文件包括将用于练习模型的一切数据。它包括一组符号及其相应的方式和呼应。
- Chatbot_model.h5-这是一个分层数据格式文件,其间存储了练习模型的权重和体系结构。
- Classes.pkl-pickle文件可用于存储猜测音讯时要分类的一切符号名。
- Words.pkl-Words.pklpickle文件包括模型词汇表中的一切仅有单词。
下载源代码和数据集:
mailto:https://drive.google.com/drive/folders/1r6MrrdE8V0bWBxndGfJxJ4Om62dJ2OMP?usp=sharing
怎么树立自己的谈天机器人?
笔者将这个谈天机器人的构建简化为5个过程:
第一步:导入库并加载数据
创立一个新的Python文件并将其命名为train_chatbot,然后导入一切必需的模块。之后,从Python程序中读取JSON数据文件。
- importnumpyasnp
- fromkeras.modelsimportSequential
- fromkeras.layersimportDense,Activation,Dropout
- fromkeras.optimizersimportSGD
- importrandom
- importnltk
- fromnltk.stemimportWordNetLemmatizer
- lemmatizer=WordNetLemmatizer()
- importjson
- importpickle
- intents_file=open('intents.json').read()
- intents=json.loads(intents_file)
第二步:数据预处理
模型无法获取原始数据。为了使机器简单了解,有必要经过许多预处理。关于文本数据,有许多预处理技能可用。第一种技能是符号化,把语句分解成单词。
经过调查intents文件,能够看到每个符号包括方式和呼应的列表。符号每个方式并将单词增加到列表中。别的,创立一个类和文档列表来增加与方式相关的一切目的。
- words=[]
- classes=[]
- documents=[]
- ignore_letters=['!','?',',','.']
- forintentinintents['intents']:
- forpatterninintent['patterns']:
- #tokenizeeachword
- word=nltk.word_tokenize(pattern)
- words.extend(word)
- #adddocumentsinthecorpus
- documents.append((word,intent['tag']))
- #addtoourclasseslist
- ifintent['tag']notinclasses:
- classes.append(intent['tag'])
- print(documents)
另一种技能是词形复原。咱们能够将单词转换成引理方式,这样就能够削减一切的标准单词。例如,单词play、playing、playing、played等都将替换为play。这样,能够削减词汇表中的单词总数。所以将每个单词进行引理,去掉重复的单词。
- #lemmaztizeandlowereachwordandremoveduplicates
- words=[lemmatizer.lemmatize(w.lower())forwinwordsifwnotinignore_letters]
- words=sorted(list(set(words)))
- #sortclasses
- classes=sorted(list(set(classes)))
- #documents=combinationbetweenpatternsandintents
- print(len(documents),"documents")
- #classes=intents
- print(len(classes),"classes",classes)
- #words=allwords,vocabulary
- print(len(words),"uniquelemmatizedwords",words)
- pickle.dump(words,open('words.pkl','wb'))
- pickle.dump(classes,open('classes.pkl','wb'))
最终,单词包括了项目的词汇表,类包括了要分类的一切实体。为了将python目标保存在文件中,运用pickle.dump()办法。这些文件将有助于练习完结后进行猜测谈天。
第三步:创立练习集和测验集
为了练习模型,把每个输入方式转换成数字。首要,对方式中的每个单词进行引理,并创立一个长度与单词总数相同的零列表。只将值1设置为那些在方式中包括单词的索引。相同,将1设置为方式所属的类输入,来创立输出。
- #createthetrainingdata
- training=[]
- #createemptyarrayfortheoutput
- output_empty=[0]*len(classes)
- #trainingset,bagofwordsforeverysentence
- fordocindocuments:
- #initializingbagofwords
- bag=[]
- #listoftokenizedwordsforthepattern
- word_patterns=doc[0]
- #lemmatizeeachword-createbaseword,inattempttorepresentrelatedwords
- word_patterns=[lemmatizer.lemmatize(word.lower())forwordinword_patterns]
- #createthebagofwordsarraywith1,ifwordisfoundincurrentpattern
- forwordinwords:
- bag.append(1)ifwordinword_patternselsebag.append(0)
- #outputisa'0'foreachtagand'1'forcurrenttag(foreachpattern)
- output_row=list(output_empty)
- output_row[classes.index(doc[1])]=1
- training.append([bag,output_row])
- #shufflethefeaturesandmakenumpyarray
- random.shuffle(training)
- training=np.array(training)
- #createtrainingandtestinglists.X-patterns,Y-intents
- train_x=list(training[:,0])
- train_y=list(training[:,1])
- print("Trainingdataiscreated")
第四步:练习模型
该模型将是一个由3个密布层组成的神经网络。第一层有128个神经元,第二层有64个,最终一层的神经元数量与类数相同。为了削减模型的过度拟合,引入了dropout层。运用SGD优化器并对数据进行拟合,开端模型的练习。在200个阶段的练习完结后,运用Kerasmodel.save(“chatbot_model.h5”)函数保存练习的模型。
- #deepneuralnetwordsmodel
- model=Sequential()
- model.add(Dense(128,input_shape=(len(train_x[0]),),activation='relu'))
- model.add(Dropout(0.5))
- model.add(Dense(64,activation='relu'))
- model.add(Dropout(0.5))
- model.add(Dense(len(train_y[0]),activation='softmax'))
- #Compilingmodel.SGDwithNesterovacceleratedgradientgivesgoodresultsforthismodel
- sgd=SGD(lr=0.01,decay=1e-6,momentum=0.9,nesterov=True)
- model.compile(loss='categorical_crossentropy',optimizer=sgd,metrics=['accuracy'])
- #Trainingandsavingthemodel
- hist=model.fit(np.array(train_x),np.array(train_y),epochs=200,batch_size=5,verbose=1)
- model.save('chatbot_model.h5',hist)
- print("modeliscreated")
第五步:与谈天机器人互动
模型现已准备好谈天了,现在在一个新文件中为谈天机器人创立一个很好的图形用户界面。能够将文件命名为gui_chatbot.py
在GUI文件中,运用Tkinter模块构建桌面应用程序的结构,然后捕获用户音讯,并在将音讯输入到练习模型之前,再次履行一些预处理。
然后,模型将猜测用户音讯的标签,从intents文件的呼应列表中随机选择呼应。
这是GUI文件的完好源代码。
- importnltk
- fromnltk.stemimportWordNetLemmatizer
- lemmatizer=WordNetLemmatizer()
- importpickle
- importnumpyasnp
- fromkeras.modelsimportload_model
- model=load_model('chatbot_model.h5')
- importjson
- importrandom
- intents=json.loads(open('intents.json').read())
- words=pickle.load(open('words.pkl','rb'))
- classes=pickle.load(open('classes.pkl','rb'))
- defclean_up_sentence(sentence):
- #tokenizethepattern-splittingwordsintoarray
- sentence_words=nltk.word_tokenize(sentence)
- #stemmingeveryword-reducingtobaseform
- sentence_words=[lemmatizer.lemmatize(word.lower())forwordinsentence_words]
- returnsentence_words
- #returnbagofwordsarray:0or1forwordsthatexistinsentence
- defbag_of_words(sentence,words,show_details=True):
- #tokenizingpatterns
- sentence_words=clean_up_sentence(sentence)
- #bagofwords-vocabularymatrix
- bag=[0]*len(words)
- forsinsentence_words:
- fori,wordinenumerate(words):
- ifword==s:
- #assign1ifcurrentwordisinthevocabularyposition
- bag[i]=1
- ifshow_details:
- print("foundinbag:%s"%word)
- return(np.array(bag))
- defpredict_class(sentence):
- #filterbelowthresholdpredictions
- p=bag_of_words(sentence,words,show_details=False)
- res=model.predict(np.array([p]))[0]
- ERROR_THRESHOLD=0.25
- results=[[i,r]fori,rinenumerate(res)ifr>ERROR_THRESHOLD]
- #sortingstrengthprobability
- results.sort(key=lambdax:x[1],reverse=True)
- return_list=[]
- forrinresults:
- return_list.append({"intent":classes[r[0]],"probability":str(r[1])})
- returnreturn_list
- defgetResponse(ints,intents_json):
- tag=ints[0]['intent']
- list_of_intents=intents_json['intents']
- foriinlist_of_intents:
- if(i['tag']==tag):
- result=random.choice(i['responses'])
- break
- returnresult
- #CreatingtkinterGUI
- importtkinter
- fromtkinterimport*
- defsend():
- msg=EntryBox.get("1.0",'end-1c').strip()
- EntryBox.delete("0.0",END)
- ifmsg!='':
- ChatBox.config(state=NORMAL)
- ChatBox.insert(END,"You:"+msg+'\n\n')
- ChatBox.config(foreground="#446665",font=("Verdana",12))
- ints=predict_class(msg)
- res=getResponse(ints,intents)
- ChatBox.insert(END,"Bot:"+res+'\n\n')
- ChatBox.config(state=DISABLED)
- ChatBox.yview(END)
- root=Tk()
- root.title("Chatbot")
- root.geometry("400x500"
- root.resizable(width=FALSE,height=FALSE)
- #CreateChatwindow
- ChatBox=Text(root,bd=0,bg="white",height="8",width="50",font="Arial",)
- ChatBox.config(state=DISABLED)
- #BindscrollbartoChatwindow
- scrollbar=Scrollbar(root,command=ChatBox.yview,cursor="heart")
- ChatBox['yscrollcommand']=scrollbar.set
- #CreateButtontosendmessage
- SendButton=Button(root,font=("Verdana",12,'bold'),text="Send",width="12",height=5,
- bd=0,bg="#f9a602",activebackground="#3c9d9b",fg='#000000',
知优网 » 快来!树立你的第一个Python谈天机器人项目(python开发机器人)