html5解决大文件断点续传/上传的方法
大文件分块
一般常用的web服务器都有对向服务器端提交数据有大小限制。超过一定大小文件服务器端将返回拒绝信息。当然,web服务器都提供了配置文件可能修改限制的大小。针对iis实现大文件的上传网上也有一些通过修改web服务器限制文件大小来实现。不过这样对web服务器的安全带了问题。攻击者很容易发一个大数据包,将你的web服务器直接给拖死。 现在针对大文件上传主流的实现方式,通过将大文件分块。比如针对一个100M文件,按2M拆分为50块。然后再将每块文件依次上传到服务器上,上传完成后再在服务器上合并文件。 在web实现大文件上传,核心主要实现文件的分块。在Html5 File API 出现以前,要想在web上实现文件分块传输。只有通过flash或Activex实现文件的分块。
在Html5 下,我们可以直接通过file的slice 方法来实现文件的分块。如:
file.slice(0,1000);
file.slice(1000,2000);
file.slice(2000,3000);
然后再通过XMLHttpRequest异步上传到服务器。
Html5 上传文件类库
如果你有兴趣及时间 ,当然可以自己用html5的File API来实现。本人在网上查找到了以下两个支持html5类库。
resumable.js 附git上的地址:https://github.com/23/resumable.js
Pludload http://plupload.com/
resumable是一个纯html5上传类库。而Pludload是一个支持html5,flash,silverlight,html4,它会自动判断浏览是否支持html5不支持将用其它的上传方式。我测试下来,resumable和Pludload都支持html5分块上传文件。用下来觉得resumable比较适合,以下就选resumable来进行介绍。 resumable.js断点上传使用介绍
主要配置介绍:
var r = new Resumable({
target:'/test/upload',
chunkSize:1*1024*1024,
simultaneousUploads:4,
testChunks: true,
throttleProgressCallbacks:1,
method: "octet"
});
chunkSize 分块文件大小,以字节为单位
simultaneousUploads 同时上传文件块的进程数,可以同时允许多个文件块上传。testChunks 上前文件块是否先通过get方式发送文件信息检测文件是否已经上传。 resumable断点上传是通过testChunks配置节点来实现,当设置为true时。resumable会先发送一个get请求,如果http状态返回 200。则认为当前块已经上传完成,然后进行下一块的get请求。如果http状态返回的不是200,则将通过post方式发送当前块数据包进行文件块上传。 设置testChunks为true每次上传都会增加一个get请求,如果我们已经知道上次中断上传前文件的块数。下次直接从中断的块数上传就行了。这样可以为每个块减少一次http的get请求。针对这个需求,我修改了resumable的源码,为resumable里的file对象增加了一个startchunkindex的属性,默认为0。用于设置当前文件从哪一个块开始上传。这样,我们只需要在在文件上传前从服务器上进行一次查询(查询当前文件上传到哪一块),返回上次上传的文件块索引。再将索引值设置到file的startchunkindex属性就可以实现从上次断开的文件块开始上传。
调用方式:
// Handle file add event
r.on('fileAdded', function (file) {
file.startchunkindex = 0; // 设置当前文件开始上传的块数
具体可以查看附件里的demo。
收尾工作
所有文件块上传完,最后工作就是合并保存文件。附件为resumable断上传.net实现的服务端例子,包括简单的文件合并功能。其它语言的demo大家也可以从resumable的git上下载。
demo例子为了简单,只是把文件存放在本机。在真实的生产环境中。一般应该放在单独的文件服务器上(前台web通过ftp或文件夹共享方式上传到文件服务器),然后对上传好的文件进行分发镜像或处理(比如视频压缩)。当然最好是存在分布式文件系统中,目前看下来放到Hadoop分布式文件系统(HDFS)是一个不错的好方案。
- zephir-(10)内置函数
- zephir-(9)类和对象2
- 深度学习中的动手实践:在CIFAR-10上进行图像分类
- 数据库中间件 MyCAT源码分析 —— XA分布式事务
- [喵咪Golang(1)]Go语言开篇
- phalcon-进阶篇2(拦截器)
- 【死磕Java并发】—–深入分析synchronized的实现原理
- phalcon-进阶篇1(过滤与清理)
- phalcon-入门篇9(view层基础使用)
- PhalApi视频教程
- 【学术】一文搞懂自编码器及其用途(含代码示例)
- PhalApi-Zip--压缩文件处理类
- PhalApi-Xhprof -- Facebook开源的轻量级PHP性能分析工具
- OpenAI发布8个模拟机器人环境以及一种HER实现,以训练实体机器人模型
- HTML 教程
- HTML 简介
- html div 标签介绍
- html span 标签介绍
- html a 超链接标签
- HTML Br换行标签介绍
- HTML P段落标签介绍
- HTML br与p标签区别
- Html H 标题标签
- html px em pt长度单位
- HTML form 标签
- HTML radio 单选框
- HTML B 加粗标签
- HTML strong加粗粗体标签
- HTML em 强调标签
- HTML i 斜体标签
- HTML u下划线标签
- HTML s 删除线标签
- Html img 图片标签
- Html上标注sup与下标注sub标签
- HTML nobr 禁止换行标签
- HTML hr 水平线标签
- HTML label 标签
- HTML input 标签
- HTML textarea 标签
- HTML select下拉列表标签
- HTML checkbox 多选框
- HTML font color 标签
- HTML iframe 框架标签
- HTML Table 表格
- HTML dl dt dd 标签
- HTML ol li有序列表标签
- HTML ul li 无序列表标签
- HTML 注释
- CSS 教程
- CSS 简介
- CSS 语法
- CSS Id 和 Class选择器
- CSS 样式的创建
- CSS background 背景介绍
- CSS 文本样式
- CSS font 字体
- CSS A 链接
- CSS ul ol列表样式
- CSS TABLE 样式
- CSS 框模型
- CSS border 边框
- CSS Outlines 轮廓
- CSS 外边距 Margin
- CSS Padding 内边距
- CSS 分组和嵌套选择器
- CSS 尺寸 (Dimension)
- CSS Display 属性
- CSS Position 定位
- CSS Float 浮动
- CSS 水平对齐(Horizontal Align)
- CSS 组合选择符
- CSS 伪类
- CSS 伪元素
- CSS 导航栏
- CSS 下拉菜单
- CSS 图片廊
- CSS 图像透明/不透明
- CSS sprite 图像拼合技术
- CSS 媒体类型
- CSS 属性选择器
- CSS 实例
- Android自定义控件之水平圆点加载进度条
- Android屏幕旋转之横屏竖屏切换的实现
- Android Studio连接SQLite数据库的登录注册实现
- Android 获取 usb 权限的两种方法
- Android实现两圆点之间来回移动加载进度
- Android使用第三方库实现日期选择器
- Android Activity向右滑动返回
- 大多数人都不懂的搜索引擎技巧,掌握这几点,提升你的工作效率
- 如何使用Flutter实现58同城中的加载动画详解
- Android Gradle开发指南详解
- Hexo+Github搭建个人博客:Hexo添加分类标签
- Android自定义酒店日期选择器
- Android实现apk插件方式换肤的实例讲解
- 基于Spark Graphx实现ID-Mapping
- Nginx keepalived一主一从高可用,手把手带你一步一步配置!