我本科最后一码任务毕业设计也上尾声。结巴分词是境内程序员用Python开发的一个国语分词模块。

本科阶段即将散场,我本科最后一码职责毕业设计也上尾声。

前不久点了下数据方面的物,先是爬了汪洋的多少,进而作多少解析。比如就是某个平字段,某个关键词在内部起的频数做个统计。一开始,运用sql
like操作符即可兑现,但这种匹配查询好耗费时间之。

指导老师跟自身说,本科毕业设计无待更新,但是工作量一定要是够,我虽了解并且如果整治工作了。

当网上搜索了生,了解及中文分词技术,其中有个吃jieba分词的。结巴分词是国内程序员用Python开发之一个中文分词模块,它的源码下载地址:https://github.com/fxsjy/jieba

我选择的毕业设计题目是网络爬虫与数量解析,在即时可以说大流行,很盛。

它们的特性:
  • 支持三种分词模式
    • 准确模式,试图以句子最可靠地切开,适合文本分析; cut_all=False
    • 全模式,把词中享有的可以成词的词语都围观出来,
      速度好抢,但是未可知化解歧义; cut_all=True
    • 摸引擎模式,在准模式之功底及,对长词再次切分,提高召回率,适合用于搜索引擎分词。
  • 支撑繁体分词
  • 支持自定义词典
  • MIT授权协议

自家用自家之毕业设计分为四有的。每一样有都见面发出切实代码和注释,也会生一些外延知识的提及同讨论,欢迎大家并上学发展。

安装jieba

推介用pip安装jieba组件

pip install jieba

爬虫简单介绍

所谓爬虫就是编制代码从网页上爬取自己想只要的数量,代码的色控制了公是否规范的爬取想使得到的数码,得到数码后能否直观正确的辨析。

Python无疑是具备语言中尽契合爬虫的。Python本身很简短,可是实在用好它们需上大量的老三方库插件。比如matplotlib库,是一个仿照matalab的有力的绘图库,用她可以用攀登下去的数目画有饼图、折线图、散点图等等,甚至是3D图来直观的显得。

Python第三方库的设置好手动安装,但是更便捷的是于命令执行直接输入一行代码即可自行检索资源并安装。并且很智能,可以识别自己电脑的花色找到最合适的版本

Pip install +你所需要的第三方库

或者是easy install +你所需要的第三方库

此间建议大家以pip安装,因为pip可以装也可卸载,而其他一样种植艺术就会设置。如果撞你想行使新的本子的老三方库,使用pip的优势就是会显现出来。

代码示例
# encoding=utf-8
import jieba

sentence  = "大数据分析师,分析数据的时候。"
# 精确模式
words = jieba.cut(sentence, cut_all=False)  
print ("|".join(words))

#全局模式
words = jieba.cut(sentence, cut_all=True)

#搜索引擎模式
words = jieba.cut_for_search(sentence)  

首先局部:交互界面设计

交互界面.png

为了增加工作量,我计划了一个相互界面来凝聚。其实十分简单,用的是python自带的老三在库Tkinter。注意,援这库房的下啊,必须大写。我就因这尺寸写题目,纠结了同样下午才意识来荒谬。

def web():
    root = Tk()
    Label(root,text='请输入网址').grid(row=0,column=0)           #对Label内容进行表格式布局
    Label(root,text='请输入User-Agent :').grid(row=1,column=0)
    v1=StringVar()    #设置变量
    v2=StringVar()   
    e1 = Entry(root,textvariable=v1)            #用于储存 输入的内容
    e2 = Entry(root,textvariable=v2)
    e1.grid(row=0,column=1,padx=10,pady=5)      #进行表格式布局                
    e2.grid (row=1,column=1,padx=10,pady=5)
    url = e1.get()                              #将从输入框中得到的网址赋值给url
    head = e2.get()

本人及时仅仅是概括的统筹一个互为界面,python有更进一步丰富的框架可以给界面更加和谐和美。

输出结果
全模式:
大数|数据|数据分析|分析|分析师|||分析|数据|的|时候||
精确模式:
大|数据|分析师|,|分析|数据|的|时候|。
搜索引擎模式:
大|数据|分析|分析师|,|分析|数据|的|时候|。

老二有:python爬虫

(这有些代码参考简书ID方志朋的篇章)

自己这边爬虫所爬取的是同等个知名博主的博客,并针对性该独具的稿子进行结巴分词。从而提取关键词,分析这员博主使用就较暖之以及互联网系的词汇的效率。

工作台数据.png

思路是如此的。

事先修一个函数download()获取url,接着编写一个函数parse_descrtion()解析从
url中赢得之html,最后结巴分词。

def download(url):                          #通过给定的url爬出数据
    if url is None:
        return None
    try:
        response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36', })
    if (response.status_code == 200):
        return response.content
    return None
    except:
        return None



def  parse_descrtion(html):                                                         
    if html is None:
        return None
    soup = BeautifulSoup(html, "html.parser")         #html字符串创建BeautifulSoup
    links = soup.find_all('a', href=re.compile(r'/forezp/article/details'))
    for link in links:
        titles.add(link.get_text())



def jiebaSet():
    strs=''
    if titles.__len__()==0:
        return
    for item in titles:
        strs=strs+item;
    tags = jieba.analyse.extract_tags(strs, topK=100, withWeight=True)
    for item in tags:
        print(item[0] + '\t' + str(int(item[1] * 1000)))

首先只函数没什么好说的。

老二个函数用到了beautifulsoup,通过对网页的辨析,从而寻找有的满足条件为
href=re.compile(r’/forezp/article/details’)的a标签里之情节。

老三独函数就是结巴分词。接下来对结巴分词作简单的牵线。

支持三种分词模式。

规范模式:试图以句子最纯正地切开,适合文本分析。

全模式:把词中具备的可成词的辞藻都围观出,速度颇抢,但是非可知解决歧义。

探寻引擎模式:在标准模式之基础及,对长词再次切分,提高召回率,适合用来搜索引擎分词。

推个例,结巴分词“我赶到北京清华大学”这句话。

【全模式】:我/来到/北京/清华/清华大学/华大/大学

【精确模式】:我/来到/北京/清华大学

python操作mysql数据库

MySQLdb是Python用以连接Mysql数据库的模块,首先要规定就安装了MySQLdb
模块。在mac下安装使用pip install mysql-python。创建好数据库users、user表和打定义之词典dict.txt。

词典格式:一个词占一行;每一行分三有:词语、词频(可粗略)、词性(可概括),用空格隔开,顺序不可颠倒。

# encoding=utf-8

import MySQLdb
import jieba

# 打开数据库连接
db = MySQLdb.connect('localhost',"root","123123","users")
cursor = db.cursor()

# SQL查询语句
sql = "select uname from user"

# 载入事先写好的自定义的词典
jieba.load_userdict("dict.txt")

try:
    cursor.execute(sql)   # 执行SQL语句
    results = cursor.fetchall()    # 获取所有记录
    for row in results:
        name = row[1]
        seglist = jieba.cut(name. cut_all=False)
        for seg in seglist:
            print seg
except:
    pass
finally:
    db.close()   # 关闭数据库连接

其三部分:连接mongoDB数据库

client = pymongo.MongoClient("localhost", 27017)

即句是应用给定主机位置以及端口。pymongo的Connection()方法无建议采取,官方推荐新方式MongoClient()。

db = client['local']

立即句是用创造好mongoDB后默认存在的蝇头独数据库中之内一个“local”赋给db,这样
db以后的次第里便意味着数据库local。

posts = db.pymongo_test
post_id = posts.insert(data)

以local里默认的一个汇“pymongo_test”赋值给posts,并且因此insert方法单个插入数据。最后回到结巴分词里的一个巡回程序里,将数据依次插入。

上述是有关连接数据库的基本代码,接下介绍如何启动mongoDB数据库。(我一样开始编程怎么都总是不达到,后来察觉凡是数据库自身没有启动,唉,编程里发出的傻逼事情莫过于是太多了。)

微软徽标+R,输入cmd,找“mongodb”的路径,然后运行mongod开启命令,同时用–dbpath指定数量存放地点为“db”文件夹。

启动mongoDB

本人这边是在了E盘,大家根据需要自己设置。最后使拘留下是否开启成功,从图被的音信遭到得到知,mongodb采用27017端口,那么我们就于浏览器输http://localhost:27017,打开后mongodb告诉我们在27017上Add
1000得以据此http模式查看mongodb的管住信息。

季有:数据解析

终极一片就是是数量解析了,我这边用了区区单器。

一个凡是故artword在线工具,地址:[https://wordart.com\]

言图效果

另外一个即便是采用matplotlib第三方库绘图更直观更系统的展现多少。第一单器十分粗略,大家进来网站就见面采用,现在重中之重介绍第二种工具的使用。

先行介绍饼图的利用。

plt.figure(figsize=(6,9))     #调节图形大小,宽,高
labels = [u'springboot',u'Cloud',u'spring']    #定义饼状图的标签,标签是列表
sizes = [47.2,30.5,22.3,]#每个标签占多大,会自动去算百分比
colors = ['red','yellowgreen','lightskyblue']
explode = (0.05,0,0)#将某部分爆炸出来, 使用括号,将第一块分割出来,数值的大小是分割出来的与其他两块的间隙

patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,
labeldistance = 1.1,autopct = '%3.1f%%',shadow = startangle = 90,pctdistance = 0.6)#labeldistance,文本的位置离远点有多远,1.1指1.1倍半径的位置

#autopct,圆里面的文本格式,%3.1f%%表示小数有三位,整数有一位的浮点数
#shadow,饼是否有阴影
#startangle,起始角度,0,表示从0开始逆时针转,为第一块。一般选择从90度开始比较好看
#pctdistance,百分比的text离圆心的距离
#patches, l_texts, p_texts,为了得到饼图的返回值,p_texts饼图内部文本的,l_texts饼图外label的文本
#改变文本的大小
#方法是把每一个text遍历。调用set_size方法设置它的属性
for t in l_text:
    t.set_size(15)
for t in p_text:
    t.set_size(15)
#设置x,y轴刻度一致,这样饼图才能是圆的
plt.axis('equal')
plt.legend()
plt.show()

饼图.png

然后是漫漫形图的施用。

people = ('springboot', 'Cloud', 'spring')
y_pos = np.arange(len(people))
performance = 3 + 10 * np.random.rand(len(people))
performance = (307,189,144)
error = np.random.rand(len(people))
plt.barh(y_pos, performance, xerr=error, align='center', alpha=0.4)
plt.yticks(y_pos, people)
plt.xlabel('time')
plt.ylabel('name')
plt.title('blog bar chart')
plt.show()

条形图.png

总结

python给人的完整感觉就是代码简洁,功能强大。针对数据解析出该特别之效益以及可靠的解析能力。

咱们院软件工程同样各十分神去了今条长条,干的即使是python工程师,本科就用到了28W的年薪。

每当脚下之死数量时,python语言的运频率为当逐步上升,其用也会见愈普遍。

尚于齐什么,赶紧学python去吧

相关文章

网站地图xml地图