<li id="fw3su"></li>
  • <li id="fw3su"></li>
  • <div id="fw3su"><tr id="fw3su"></tr></div>
    <dl id="fw3su"></dl>
  • <div id="fw3su"><tr id="fw3su"></tr></div>
  • <sup id="fw3su"></sup>
    <progress id="fw3su"></progress><div id="fw3su"><tr id="fw3su"></tr></div><input id="fw3su"><ins id="fw3su"></ins></input>

    Golang实现简单爬虫框架(1)——项目介绍与环境准备

    最近学习Go语言,看了慕课网 Google工程师深度讲解go语言 这门课,现在把课程中的爬虫项目整理出来,同时也作为自己学习的一个总结。本人菜鸟一枚,如有任何问题,欢迎大家指正。

    一、环境准备

    1、go语言安装

    Go安装包下载网址: https://studygolang.com/dl

    选择对应的版本下载即可

    Windows用户推荐使用 msi 安装,简单方便,而?#19968;?#33258;动配置好环境变量

    打开Windows中的命令提示符(cmd.exe)执行命令: go version 查看go语言版本

    2、环境配置

    然后我们需要设置Go语言工作空间gopath目录(Go语言开发的项目路径)

    Windows 设置如下,新建一个环境变量名称叫做GOPATH,值为你的工作目录,例如GOPATH=D:Workspace

    以上 %GOPATH% 目录约定有三个子目录:

    src 存放?#21019;?#30721;(比如:.go .c .h .s等)

    pkg 编译后生成的文件(比如:.a)

    bin 编译后生成?#30446;?#25191;行文件

    bin和pkg目录可以不创建,go命令会自动创建(如 go install),只需要创建src目?#25216;?#21487;。

    3、Goland安装与破解

    (1)安装

    Goland官网: https://www.jetbrains.com/go/

    选择对应版本下载安装即可

    (2)破解

    关于Goland的破解方式网上已经又很多文章,可以参考这篇: https://blog.csdn.net/dodod20...

    二、项目介绍

    本次爬虫爬取的是 珍爱网 的用户信息数据,爬取步骤为:

    • 1.进入珍爱网 城市页面 爬取所有的城?#34892;?#24687;
    • 2.进入 城市详情页 爬取用户URL地址信息
    • 3.进入 用户详情页 爬取所需要的用户信息

    爬虫算法如下

    在下篇博客中,会实现一个单机版的爬虫项目,敬请关注。

    我来评几句
    登录后评论

    已发表评论数()

    相关站点

    热门文章
    11选五