大数据中如何管理我们的建模项目文件

发布时间:2021-12-10 10:34:11 作者:柒染
来源:亿速云 阅读:137

这篇文章将为大家详细讲解有关大数据中如何管理我们的建模项目文件,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

大家可以先看看这张图,这个我们在做建模项目时,个人比较推荐的一个建项目文件的demo。

大数据中如何管理我们的建模项目文件    

这个项目文件结构是我平时经常用的,会根据项目复杂度自行删减一些内容,不过总体的框架还是差不多的,所以分享给大家参考下呗,因为个人用起来还是蛮不错的,图片里讲了还是比较详细的了,不过我还是挑一些重点来简单解释一下:

experiment:专门用来存放我们的实验文件,也就是那些不断地测试算法的中间文件。
model:存放不同算法的最终版本代码的文件夹
data:存放数据的文件夹,里面还会分不同类别去存放数据,比如external(来自第三方的数据)、interim(经过部分清洗转换的数据源,如SQL、SAS)、raw(原始数据集,不添加任何加工)、processed(最终用于建模的数据集)、code(用于储存数据清洗的代码)

关于大数据中如何管理我们的建模项目文件就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

推荐阅读:
  1. mongodb中的数据建模
  2. MONGODB大数据运维管理

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

大数据

上一篇:基于小程序的面试题有哪些

下一篇:Hive常用函数有哪些

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》