您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
本篇内容主要讲解“使用go实现多线程下载器的方法有哪些”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“使用go实现多线程下载器的方法有哪些”吧!
1.多线程下载原理
2.构造一个下载器
2.1 为下载器提供初始化方法
3.实现下载综合调度逻辑
3.1 下载文件分段
3.2 子线程下载函数
4. 保存下载文件函数
5.完整代码
本篇文章我们用Go实现一个简单的多线程下载器。
通过判断下载文件链接返回头信息中的 Accept-Ranges 字段,如果为 bytes 则表示支持断点续传。
然后在请求头中设置 Range 字段为 bytes=[start]-[end],以请求下载文件的分段部分,然后将所有分段合并为一个完整文件。
type HttpDownloader struct { url string filename string contentLength int acceptRanges bool // 是否支持断点续传 numThreads int // 同时下载线程数 }
func New(url string, numThreads int) *HttpDownloader { var urlSplits []string = strings.Split(url, "/") var filename string = urlSplits[len(urlSplits)-1] res, err := http.Head(url) check(err) httpDownload := new(HttpDownloader) httpDownload.url = url httpDownload.contentLength = int(res.ContentLength) httpDownload.numThreads = numThreads httpDownload.filename = filename if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" { httpDownload.acceptRanges = true } else { httpDownload.acceptRanges = false } return httpDownload }
如果不支持多线程下载,就使用单线程下载。
func (h *HttpDownloader) Download() { f, err := os.Create(h.filename) check(err) defer f.Close() if h.acceptRanges == false { fmt.Println("该文件不支持多线程下载,单线程下载中:") resp, err := http.Get(h.url) check(err) save2file(h.filename, 0, resp) } else { var wg sync.WaitGroup for _, ranges := range h.Split() { fmt.Printf("多线程下载中:%d-%d\n", ranges[0], ranges[1]) wg.Add(1) go func(start, end int) { defer wg.Done() h.download(start, end) }(ranges[0], ranges[1]) } wg.Wait() } }
func (h *HttpDownloader) Split() [][]int { ranges := [][]int{} blockSize := h.contentLength / h.numThreads for i:=0; i<h.numThreads; i++ { var start int = i * blockSize var end int = (i + 1) * blockSize - 1 if i == h.numThreads - 1 { end = h.contentLength - 1 } ranges = append(ranges, []int{start, end}) } return ranges }
func (h *HttpDownloader) download(start, end int) { req, err := http.NewRequest("GET", h.url, nil) check(err) req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end)) req.Header.Set("User-Agent", userAgent) resp, err := http.DefaultClient.Do(req) check(err) defer resp.Body.Close() save2file(h.filename, int64(start), resp) }
func save2file(filename string, offset int64, resp *http.Response) { f, err := os.OpenFile(filename, os.O_WRONLY, 0660) check(err) f.Seek(offset, 0) defer f.Close() content, err := ioutil.ReadAll(resp.Body) check(err) f.Write(content) }
package main import ( "fmt" "strings" "log" "os" "net/http" "sync" "io/ioutil" ) const ( userAgent = `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36` ) type HttpDownloader struct { url string filename string contentLength int acceptRanges bool // 是否支持断点续传 numThreads int // 同时下载线程数 } func check(e error) { if e != nil { log.Println(e) panic(e) } } func New(url string, numThreads int) *HttpDownloader { var urlSplits []string = strings.Split(url, "/") var filename string = urlSplits[len(urlSplits)-1] res, err := http.Head(url) check(err) httpDownload := new(HttpDownloader) httpDownload.url = url httpDownload.contentLength = int(res.ContentLength) httpDownload.numThreads = numThreads httpDownload.filename = filename if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" { httpDownload.acceptRanges = true } else { httpDownload.acceptRanges = false } return httpDownload } // 下载综合调度 func (h *HttpDownloader) Download() { f, err := os.Create(h.filename) check(err) defer f.Close() if h.acceptRanges == false { fmt.Println("该文件不支持多线程下载,单线程下载中:") resp, err := http.Get(h.url) check(err) save2file(h.filename, 0, resp) } else { var wg sync.WaitGroup for _, ranges := range h.Split() { fmt.Printf("多线程下载中:%d-%d\n", ranges[0], ranges[1]) wg.Add(1) go func(start, end int) { defer wg.Done() h.download(start, end) }(ranges[0], ranges[1]) } wg.Wait() } } // 下载文件分段 func (h *HttpDownloader) Split() [][]int { ranges := [][]int{} blockSize := h.contentLength / h.numThreads for i:=0; i<h.numThreads; i++ { var start int = i * blockSize var end int = (i + 1) * blockSize - 1 if i == h.numThreads - 1 { end = h.contentLength - 1 } ranges = append(ranges, []int{start, end}) } return ranges } // 多线程下载 func (h *HttpDownloader) download(start, end int) { req, err := http.NewRequest("GET", h.url, nil) check(err) req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end)) req.Header.Set("User-Agent", userAgent) resp, err := http.DefaultClient.Do(req) check(err) defer resp.Body.Close() save2file(h.filename, int64(start), resp) } // 保存文件 func save2file(filename string, offset int64, resp *http.Response) { f, err := os.OpenFile(filename, os.O_WRONLY, 0660) check(err) f.Seek(offset, 0) defer f.Close() content, err := ioutil.ReadAll(resp.Body) check(err) f.Write(content) } func main() { var url string = "https://dl.softmgr.qq.com/original/im/QQ9.5.0.27852.exe" httpDownload := New(url, 4) fmt.Printf("Bool:%v\nContent:%d\n", httpDownload.acceptRanges, httpDownload.contentLength) httpDownload.Download() }
到此,相信大家对“使用go实现多线程下载器的方法有哪些”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。