电影名称、评分、评价人数,以致是对友好撒谎

一、要求解析
用go语言抓取 豆瓣电影top250
抓取url:
https://movie.douban.com/top250

《超脱》:小编的神魄与自己里面的距离如此悠久,而自己的存在却这么真实。

抓取字段:电影名称、评分、评价人数

《罗生门》

图片 1

《罗生门》:撒谎是人之天性,在当先一半小时里小编么乃至都不恩能对团结诚实,但那是因为大家太懦弱了于是才撒谎,乃至是对和煦撒谎。

二、运行:
正在抓取第0页……
肖申克的救赎 9.6 8247陆十一位
以此杀手不太冷 9.4 7913玖拾陆位
霸王别姬 9.5 5890贰二十个人
阿甘正传 9.4 678853个人
姣好人生 9.5 394009人
千与千寻 9.2 630456人
Schindler的花名册 9.4 364712位
泰坦Nick号 9.2 624623位
盗梦空间 9.2 7323肆十几个人
机器人总动员 9.3 480976个人
海上海钢铁公司琴师 9.2 577308人
三傻大闹宝莱坞 9.1 6411伍拾几位
忠犬八公的传说 9.2 4303二10位
放牛班的春季 9.2 432373个人
大话西游之大圣娶亲 9.2 4653叁12个人
教父 9.2 329687人
龙猫 9.1 401043人
楚门的社会风气 9.0 428408人
不安定的时代佳人 9.2 2611捌十七位
天堂电影院 9.1 2985十三位
当幸福来敲门 8.9 5177七15位
触不可及 9.1 350506人
搏击俱乐部 9.0 391459个人
十二怒汉 9.3 162945人
无间道 9.0 379235人
正在抓取第1页……
熔炉 9.2 230668人
戒指王3:王者无敌 9.1 2745七18人
心跳得厉害 8.9 516558个人
天空之城 9.0 3178九十九人
罗马假期 8.9 3708六十位
妙龄派的古怪漂流 9.0 5579二十二人
大话西游之月光宝盒 8.9 3779叁12人
老外来了 9.1 215892个人
星际穿越 9.1 4581五14个人
蝙蝠侠:乌黑骑士 9.0 301300人
两杆大烟枪 9.0 263389个人
飞屋环游记 8.9 479900人
活着 9.0 250291人
飞越疯人院 9.0 2669八十人
窃听台风 9.1 210962个人
海豚湾 9.3 175994人
闻香识女孩子 8.9 3068玖拾壹位
V字仇杀队 8.8 3934二十八个人
国色天香心灵 8.9 29二零一二人
教父2 9.1 177785人
哈尔的移位城池 8.8 329454位
手记王2:双塔奇兵 8.9 2594二十位
手记王1:魔戒再次出现 8.9 2894二10个人
Smart爱雅观 8.7 4627九十七位
情书 8.8 355630人
正在抓取第2页……
逝世诗社 8.9 26壹玖捌捌人
美利坚合众国史迹 9.1 165767人
七宗罪 8.7 417016人
钢琴家 9.0 193470人
狮子王 8.9 268010人
辩护人 9.1 184702人
被嫌弃的松子的生平 8.9 261601人
沉重魔术 8.8 322268人
控方证人 9.6 743肆10位
乐善好施的心 8.8 284473位
剪刀手Edward 8.7 4616伍十二个人
饮食男女 9.0 177611个人
小鞋子 9.2 127801人
音乐之声 8.9 221186位
低级庸俗小说 8.7 314238人
入殓师 8.8 305490人
Benjamin·Barton奇事 8.7 3743陆11个人
默不做声的羔羊 8.7 332710人
连锁反应 8.7 3618柒十人
骇客帝国 8.8 263792个人
援助大兵Ryan 8.8 221861个人
素媛 9.1 159897人
玛丽和Marx 8.9 224390人
西西里的美观轶事 8.7 322479个人
快人快语捕手 8.7 253548位
正值抓取第3页……
幽灵公主 8.8 2212七贰九人
第六感 8.8 219997人
阳光灿烂的光阴 8.7 254630位
让子弹飞 8.7 59壹玖捌八位
春光乍泄 8.8 226800人
大鱼 8.7 236955人
大闹天宫 9.2 90495个人
射雕大侠传之东成西就 8.7 2593九十三位
哈拉雷树丛 8.6 305208人
太阳姐妹淘 8.8 2522九十四人
上帝之城 8.9 150203人
甜蜜蜜 8.7 219633人
禁闭岛 8.6 334496人
致命ID 8.6 296372人
告白 8.6 319372人
一一 8.9 144124人
大澳大利亚湾盗 8.6 3140九位
爱在黎明(英文名:lí míng)日亮前 8.7 204429个人
狩猎 9.0 112979人
埃及开罗大酒馆 8.7 2834九十七个人
阿凡达 8.6 500668人
断背山 8.6 299180人
风之谷 8.8 165217人
萤火虫之墓 8.7 一九一六81人
发狂动物城 9.2 456023位
正在抓取第4页……
摩立时代 9.2 802九十四个人
爱在日落黄昏时 8.7 1864五10个人
猫鼠游戏 8.7 202374个人
末代国君 8.8 148112位
侧耳静听 8.8 1556五18个人
哈利·Porter与魔法石 8.6 229709人
驯龙高手 8.7 267116个人
超脱 8.7 159754人
海洋 9.0 95004人
甜蜜终点站 8.6 2136拾贰位
穿条纹睡衣的男孩 8.8 1274捌12位
菊次郎的三夏 8.7 1655捌17人
燃情岁月 8.8 1423柒十位
流失的恋人 8.7 3233玖拾柒位
倩女幽魂 8.6 228708人
神偷奶爸 8.5 3452九十一个人
电锯惊魂 8.6 186194个人
谍影重重3 8.7 169379人
岁太阴元君偷 8.6 289352人
真爱至上 8.5 2922九十一人
借东西的小丑阿莉埃蒂 8.7 201807人
雨人 8.6 198321人
七武士 9.2 70156人
虎口脱离危险 8.9 101110个人
面色如土直播 8.7 一九四九伍十位
正值抓取第5页……
贫民窟的百万富翁 8.5 376455位
东邪西毒 8.6 233910人
回忆碎片 8.5 2587八十几位
发狂原始人 8.7 348946人
杀人回想 8.6 一九一零四十七个人
怪兽电力公司 8.6 2210六14个人
红辣椒 8.8 116235人
卢Wanda饭馆 8.8 109739个人
黑天鹅 8.5 390705人
穿越时间和空间的童女 8.6 173267位
魂断蓝桥 8.8 1222六14人
恋恋台式机 8.5 259859人
猜火车 8.5 229628人
喜宴 8.8 125182人
英豪本色 8.7 1363柒21个人
雨中曲 8.9 87275人
自负与偏见 8.4 2786陆拾三个人
小森林 夏秋篇 8.9 110985人
教父3 8.7 119653人
正剧之王 8.4 280154位
到家的世界 9.0 727四十个人
驰骋四海 8.7 1306玖拾伍个人
玩具总动员3 8.7 1815八十一个人
萤火之森 8.7 1413柒14位
人造智能 8.6 1773三19个人
正在抓取第6页……
自己是萨姆 8.8 934三十多少人
浪潮 8.7 120227人
香水 8.4 256627人
冰川时代 8.4 2519四十一位
7号房的礼金 8.7 155404人
撞车 8.6 163627人
哈利·Porter与死去圣器(下) 8.6 2532叁14位
花样年华 8.5 2246伍十二位
追随 9.0 72964人
朗读者 8.5 262929人
一回别离 8.7 122265人
碧金红天 8.7 1032拾四人
罗生门 8.7 112566人
秒速5厘米 8.4 269433人
梦之安魂曲 8.7 102683位
大战之王 8.5 162502人
荒蛮传说 8.7 1141九十七个人
可可西里 8.6 1壹玖叁壹4人
心迷宫 8.6 138691人
桃花庵主点秋香 8.3 289179位
了不起陆战队 8.6 335961个人
时空恋旅人 8.6 1762八十二个人
海盗广播台 8.6 1574六十人
地球上的星星 8.8 744肆拾伍个人
谍影重重2 8.5 147236个人
正在抓取第7页……
蝙蝠侠:乌黑骑士崛起 8.5 2716贰十位
谍影重重 8.5 177828位
阿飞正传 8.5 1631八十二人
小森林 冬春篇 8.9 95803人
恐怖游轮 8.3 2854陆十七个人
迁徙的鸟 9.1 492二十六位
荒地生存 8.6 1184三15个人
勇闯夺命岛 8.5 132087人
绿里有时候 8.7 97962个人
惊魂记 8.8 74428人
波士顿买家俱乐部 8.6 152990位
魔女宅急便 8.4 1764八十四人
再也启程之London遇见你 8.5 149098个人
爆裂鼓手 8.6 212623人
未麻的部屋 8.8 81729个人
德国首都 8.6 115202人
燕尾蝶 8.6 102340人
东京物语 9.2 45442位
牯岭街少年杀人事件 8.7 940100个人
那个男生来自地球 8.5 161029位
变脸 8.4 199136人
英帝国患儿 8.4 164079人
被施救的姜戈 8.5 2404八十七个人
穷途末路狂花 8.7 94801人
终结者2:审判日 8.5 130046人
正值抓取第8页……
E.T. 外星人 8.5 140618人
叫小编先是名 8.6 100803人
忠犬八公家语 9.0 49927人
哪吒三太子闹海 8.8 719七拾叁个人
发条橙 8.4 172356人
青蛇 8.4 199167人
源代码 8.3 378590人
穆赫兰道 8.3 2150陆十五位
金子三镖客 9.1 46235个人
黑客帝国3:矩阵革命 8.5 141112位
新龙门饭馆 8.4 1670三12个人
特别嫌犯 8.6 1061贰11人
美利坚合众国美人 8.4 170160位
城市之光 9.2 384十三位
上帝也疯狂 8.6 89002人
臭名昭著人渣 8.4 2059陆拾几位
初恋这件麻烦事 8.2 4213三十五个人
勇士 8.9 80661人
爱·回家 9.0 43661人
浅莲红大门 8.2 256607人
曾经 8.3 190832人
强有力破坏王 8.6 1711捌十六位
麦兜传说 8.5 1185六20个人
暖暖内太阿 8.4 1336贰十五个人
David·戈尔的毕生 8.7 788玖拾捌人
正在抓取第9页……
蝴蝶 8.6 90229人
依傍游戏 8.5 2285八十几个人
血钻 8.5 117306人
帝王的解说 8.3 3118五十七个人
与狼共舞 8.9 526柒11人
遗愿清单 8.5 1141六18人
法国巴黎淘气帮 8.6 98714个人
荒岛余生 8.4 120696位
偷拐抢骗 8.5 1072三20位
夜访吸血鬼 8.3 1839四十九位
疯狂的石头 8.2 2812三10个人
枪火 8.6 88708人
一触即发 8.7 747贰十二位
爱在早晨光临前 8.7 1027陆拾贰人
爱在泰国 8.3 2079九十四个人
大旨车站 8.7 716肆十二个人
月球 8.5 130528人
寿司之神 8.8 74039位
我爱你 9.0 49781人
总角之交 8.1 3003贰12位
罪恶之城 8.4 1315柒19人
桥梁遗梦 8.5 894三十几个人
若是爱有运气 8.2 214075位
彗星来的那一夜 8.3 1460肆17人
黑鹰坠落 8.5 99895位
爬虫截止,总共耗费时间: 1.8951084s

《V字仇杀队》:事实上,经过如此多年过后,你从头失去的不然则脾胃,你戴面具的时日太长,都不记得面具下的投机是怎样样子了。

Process finished with exit code 0

《七武士》

图片 2

《七勇士》:笔者像你这么大时,也想过凭才具,应战立功然后当一城之王,但想着想着已白发斑斑,那时您已错失双亲孤单一人。

图片 3

《猜火车》

三、爬虫源代码

《猜火车》:选拔专门的学问,选拔生活,采取工作,采用家庭,选他妈的大电视,接纳坐着,看令头脑麻木让心灵破碎的猜谜节目,嘴里塞满他妈的废料食物。

package main
import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "time"
    "os"
    "strconv"
)
//定义新的数据类型
type Spider struct {
    url    string
    header map[string]string
}


//定义 Spider get的方法
func (keyword Spider) get_html_header() string {
    client := &http.Client{}
    req, err := http.NewRequest("GET", keyword.url, nil)
    if err != nil {
    }
    for key, value := range keyword.header {
        req.Header.Add(key, value)
    }
    resp, err := client.Do(req)
    if err != nil {
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
    }
    return string(body)

}
func parse()  {
    header := map[string]string{
        "Host": "movie.douban.com",
        "Connection": "keep-alive",
        "Cache-Control": "max-age=0",
        "Upgrade-Insecure-Requests": "1",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
        "Referer": "https://movie.douban.com/top250",
    }

    //创建excel文件
    f, err := os.Create("C:/haha3.xlsx")
    if err != nil {
        panic(err)
    }
    defer f.Close()
    //写入标题
    f.WriteString("电影名称"+"\t"+"评分"+"\t"+"评价人数"+"\t"+"\r\n")

    //循环每页解析并把结果写入excel
    for i:=0;i<10;i++{
        fmt.Println("正在抓取第"+strconv.Itoa(i)+"页......")
        url:="https://movie.douban.com/top250?start="+strconv.Itoa(i*25)+"&filter="
        spider := &Spider{url, header}
        html := spider.get_html_header()

        //评价人数
        pattern2:=`(.*?)评价`
        rp2 := regexp.MustCompile(pattern2)
        find_txt2 := rp2.FindAllStringSubmatch(html,-1)

        //评分
        pattern3:=`property="v:average">(.*?)`
        rp3 := regexp.MustCompile(pattern3)
        find_txt3 := rp3.FindAllStringSubmatch(html,-1)

        //电影名称
        pattern4:=`img alt="(.*?)" src=`
        rp4 := regexp.MustCompile(pattern4)
        find_txt4 := rp4.FindAllStringSubmatch(html,-1)

        // 写入UTF-8 BOM
        f.WriteString("\xEF\xBB\xBF")
        //  打印全部数据和写入excel文件
        for i:=0;i<len(find_txt2);i++{
            fmt.Printf("%s %s %s\n",find_txt4[i][1],find_txt3[i][1],find_txt2[i][1], )
            f.WriteString(find_txt4[i][1]+"\t"+find_txt3[i][1]+"\t"+find_txt2[i][1]+"\t"+"\r\n")

        }
    }
}

func main() {
    t1 := time.Now() // get current time
    parse()
    elapsed := time.Since(t1)
    fmt.Println("爬虫结束,总共耗时: ", elapsed)

}

《Mary与Marx》

《Mary与马克思》:小编骨子里想不通为何诚实也算……不符合时机。

《Mary与马克思》

《Mary与Marx》:当自个儿年轻的时候,我想变成任何壹个人除了自家要好。

《剪刀手Edward》

《剪刀手Edward》:抱小编,作者无法

《新加坡乐与路》

《上海乐与路》:上帝也感到那世界完美无瑕,今后还不是乱糟糟。

《 牯岭街少年杀人事件》

《牯岭街少年杀人事件》:那个世界是

不会变的。

《独马上代》

《独立刻期》:最轻巧逃避义务的方法,便是装的跟外人一样。

《一一》

《一一》:你不在的时候,作者有个机缘去过了一段年轻时候的光阴,本来认为作者再活二回的话只怕会有哪些不等同,结果只怕基本上没什么两样,只是顿然感觉,再活二回的话好像,真的未有那多少个供给。

《超脱》

《超脱》:你看得见本身?你能看见小编站在此地?
是的,作者看见了。哦天啊,作者就如再度和这么些世界建设构造了联络,多谢。

相关文章

网站地图xml地图