随后,江寒操作着电脑,心无旁骛,很快就进入了状态。
夏雨菲也不再来打扰他,拿着手机,半躺在床上,自己上网、听歌。
江寒将高老师发送来的和下载下来,连同夏雨菲下载的前11个文件,放在了同一个文件夹中。
然后在第1个文件上点击鼠标右键,选择用winrar解压缩,很快就得到了数据包。
一共两个文件,n-labels-idx1-ubyte。
-ubyte都是自定义的文件格式,官网上就有格式说明。
train-images文件大小超过1g,保存了20万张手写数字的图片信息。
而train-labels中则存储了20万个标签数据,与train-images一一对应。
和公开版本的mnist不同,用于比赛的这个手写数字数据集,数据量要大出好几倍。
kaggle官方将数据集分为两部分,训练集train向参赛选手公开,而测试集test则内部保存。
比赛的形式很简单,大家根据公开的训练集,编写自己的程序,提交给主办方。
主办方用不公开的测试集数据,对这些程序逐一进行测试,然后比较它们在测试集上的表现。
主要指标是识别率,次要指标是识别速度等。
这是“人工神经网络”在这类竞技场上的初次亮相,江寒可不想铩羽而归。
事实上,如果想追求更好的成绩,最好的办法,就是弄出卷积神经网络(cnn)来。
那玩意是图像识别算法的大杀器。
在“机器学习”这个江湖中,cnn的威力和地位,就相当于武侠世界中的倚天剑、屠龙刀。
cnn一出,谁与争锋!
只可惜,这个东西江寒现在还没研究出来。
现上轿现扎耳朵眼,也来不及了。
再说,饭要一口口吃,搞研究也得一步步来。
跨度不能太大喽,免得扯到蛋……
所以在这次比赛中,江寒最多只能祭出“带隐藏层的全连接神经网络”(fcn)。
有了这个限制,就好比戴着镣铐跳舞,给比赛平添了不少难度和变数。
那些发展了几十年的优秀算法,也不见得会输普通的fcn多少。
所以,现在妄言冠军十拿九稳,还有点为时过早。
不过,有挑战才更有趣味性嘛,稳赢的战斗打起来有什么意思呢
江寒根据官网上找到的数据格式说明文档,编写了一个文件解析函数,用来从两个train文件中提取数据。
train-images-idx3-ubyte的格式挺简单的,从文件头部连续读取4个32位整形数据,就能得到4个参数。
用来标识文件类型的魔数m、图片数量n、每张图片的高度h和宽度w。
从偏移0016开始,保存的都是图片的像素数据。
颜色深度是8位,取值范围0~255,代表着256级灰度信息,每个像素用一个字节来保存。
然后,从文件头中可以得知,每张图片的分辨率都是。
这样每张图片就需要784个字节来存储。
很容易就能计算出每张图片的起始地址,从而实现随机读取。
如果连续读取,那就更简单了,只需要每次读取784个字节,一共读取n次,就能恰好读取完整个文件。
需要注意的是,图像数据的像素值,在文件中存储类型为unsignedchar型,对应的format格式为b。
所以在python程序中,在(取值为784)这个参数的后面,还要加上b参数,这样才能读取一整张图片的全部像素。
如果忘了加b,则只能读取一个像素……
train-labels-idx1-ubyte格式更加简单。
前8个字节是两个32位整形,分别保存了魔数和图片数量,从偏移0009开始,就是unsignedbyte类型的标签数据了。
每个字节保存一张图片的标签,取值范围0~9。
江寒很快就将标签数据也解析了出来。
接下来,用matplot的绘图功能,将读取出来的手写数字图片,绘制到屏幕上。
然后再将对应的标签数据,也打印到输出窗口,两者一比较,就能很轻松地检验解析函数是否有问题。
将解析函数调试通过后,就可以继续往下进行了。
首先要将图片的像素信息压缩一下,二值化或者归一化,以提高运算速度,节省存贮空间。
像素原本的取值范围是0255。
二值化就是将大于阈值(通常设为中间值127)的数值看做1,否则看做0,这样图片数据就转换成了由0或者1组成的阵列。
归一化也比较简单,只需要将每个像素的取值除以最大值255,那么每个像素的取值空间,就变成了介于0和1之间的浮点数。
两种手段各有利弊,江寒决定每种都试一下,看看在实践中,哪个表现更好一些。
由于江寒使用的是全连接网络,而不是卷积神经网络,所以还要将2维的图片,转换成1维的向量。
这个步骤非常简单,将二维的图片像素信息,一行接一行按顺序存入一维数组就行。
事实上,在解析数据文件的时候,已经顺便完成了这一步,所以并不需要额外的操作。
猜你喜欢
- 琉长生
- 【女扮男装,强强,1v1】叶潇然此生住过孤儿院,当过影后,被挚爱背叛成过通缉犯,只因一双通灵宝眼最后落得于狗争食惨死下场 夜萧然,夜家唯一的继承人,却是天生懦弱无能甚至被人打死无人问津 再睁眼,叶潇然成了夜萧然,偶得最强(坑爹)不是,是最强通灵系统,废物变天才,学渣变学霸,天生影帝,网文大神,最强编
- 去归休
- 【2019“玄幻王者”征文】参赛作品
- 妍暖花开
- 因为一只猫咪,我重生到了少年时期。因为一个系统,我开始文抄公的生活。因为一本小说,我开启了虚拟网游时代。且看在新的世界,我赵暖阳如何称王称霸顺便把宠物猫进化成人,来把恩爱秀。
- 司唐
- 一朝意外,变身萝莉遇见三年前自己敬仰的电竞男神,然而这个男神有点怪。顾家二少为了活下去也是忍了,系统发布位面任务:活下去,离开这里你就能回到现实世界然而,顾二少摸遍自己浑身上下,还是那个小萝莉。某游戏渣还跑过来叫嚣:拖大神后腿的渣渣
- 理想花
- 失忆的紫
- 秦晚前世被觊觎她未婚夫和财产的姑姑、表妹逼到跳楼,断了腿、污了名,还连累了至亲至爱。重生回到危急时刻,正想着如何反败为胜,被一高能虐渣系统砸中。还没来得及高兴,某统哭叫绑错了人。它从亿年后奔来,本是要助她隔壁家的帅哥哥逆袭。非死无法解除绑定,黑芝麻馅萌妹子与同属性系统…建立互助联盟。于是,霸道小哥哥
- 小强
- 小强
- 戏沐
- 前世她战战兢兢,当上了职场经理,却在遭受男友闺密的背叛意外重生,系统在手,天下我有。重生一世,又怎么能继续受人欺压?坑爹系统,白猫无常,为她打开了一个新的世界,从此,一人扮演两个角色,走私,黑拳,楼盘,皆是她的势力,对此,她表示很无辜,为啥你们一个个的都要找我麻烦?