首页 文章

    基于NodeJs操作MySQL实现基础操作

    # 基于NodeJs操作MySQL实现基础操作 ----- ## 实现数据库的增删改查 ---- ### 代码篇 ``` const mysql = require('mysql'); const connection = mysql.createConnection({ host: 'localhost', user: 'root', password: '1234567890', database: 'Demo' }); connection.connect(); var addSql =

    作者:RainNight 2021-04-11 所属分类:[Puppeteer]

    基于NodeJs的Redis使用

    ## 基于NodeJs的Redis使用 --- ### Redis支持五种数据类型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合)。 --- ``` cnpm install redis ``` ### 新建redis.js,引入redis --- ``` var redis = require('redis'); var client = redis.createClient(6379,'127.0.0.1'); ```

    作者:RainNight 2021-04-9 所属分类:[redis]

    利用puppeteer采集百度数据,并写入json文件

    # 利用puppeteer采集百度数据,并写入json文件 --- ## 代码篇,属于日常采集篇,后期会mongdb来存贮数据 ---- ``` const puppeteer = require("puppeteer"); const fs = require('fs'); (async()=>{ try{ const browser = await puppeteer.launch({ headless:true, args: [ '–disable-gpu', // GPU硬件加速 '–d

    作者:RainNight 2021-04-7 所属分类:[Puppeteer]

    使用golang结合goquery抓取数据的爬虫

    ### 简介 --- goquery是用 Go 语言编写的一个类似于 jQuery 的库。它基于 HTML 解析库net/html和 CSS 库cascadia,提供与 jQuery 相近的接口。Go 著名的爬虫框架colly就是基于 goquery 的。 ### 快速使用 --- 本文代码使用 Go Modules。 创建目录并初始化: ``` $ mkdir goquery && cd goquery $ go mod init github.com/darjun/go-daily-lib/

    作者:RainNight 2021-04-6 所属分类:[爬虫]

    深入Go的Map使用和实现原理

    # 开篇语 > Map是一种常用的kv数据结构,程序设计中经常使用,且作为一种最基础的数据结构,很多编程语言本身提供的api都会有实现,Go也不例外,今天我们将从一下三个方面为大家分析Go中的Map。 > 什么是Map? > Go中如何使用Map? > 以及Go的Map实现机制是什么样?希望通过这几个方面的讲解,让大家真正理解Go的Map使用和实现。 ## 什么是Map ### key,value存储 > 最通俗的话说Map是一种通过key来获取value的一个数据结构,其底层存储方式为数组,在

    作者:RainNight 2021-04-5 所属分类:[Golang]

    GMP 原理与调度

    # 一、Golang “调度器” 的由来? --- ## (1) 单进程时代不需要调度器 我们知道,一切的软件都是跑在操作系统上,真正用来干活 (计算) 的是 CPU。早期的操作系统每个程序就是一个进程,知道一个程序运行完,才能进行下一个进程,就是 “单进程时代” 一切的程序只能串行发生。 ![file](/static/upload/bigpic/20210405/1617623979497918968.png) 早期的单进程操作系统,面临 2 个问题: 单一的执行流程,计算机只能一个任务一个

    作者:RainNight 2021-04-5 所属分类:[Golang]

    基于golang实现的并发爬虫,爬取图片

    # 基于golang实现的并发爬虫,爬取图片 ---- ## 代码篇 --- ``` package main import ( "fmt" "io/ioutil" "net/http" "regexp" "strconv" "strings" "sync" "time" ) // 并发爬思路: // 1.初始化数据管道 // 2.爬虫写出:26个协程向管道中添加图片链接 // 3.任务统计协程:检查26个任务是否都完成,完成则关闭数据管道 // 4.下载协程:从管道里读取链接并下载 var (

    作者:RainNight 2021-04-5 所属分类:[爬虫]

    基于golang的爬虫,爬取QQ邮箱号、链接、手机号、身份证号

    # 基于golang的爬虫,爬取QQ邮箱号、链接、手机号、身份证号 --- ## 爬虫基础方案,基本的接口封装和使用,并为使用并发的处理 ---- ### 代码篇 ---- ``` package main import ( "fmt" "io/ioutil" "log" "net/http" "regexp" ) var ( // w代表大小写字母+数字+下划线 reEmail = `\w+@\w+\.\w+` // s?有或者没有s // +代表出1次或多次 //\s\S各种字符 // +?

    作者:RainNight 2021-04-5 所属分类:[爬虫]

书籍归档