如何快速成为大数据开发实战专家？大数据采集后的上报频率咋控制

有些人说，我喜欢这个行业，我很努力，我自学成才，是否坚持⑩年就可以磨成①代名师？

西方的研究告诉我们，怎样磨？如何磨？是要需要精心设计的。

精密训练包括以下几个要素：

① · 精密训练是精心设计地为满足某①专业需求而进行的密集训练

精密训练的设计不但需要具备全套的专业知识，更需要科学融入课程设计的原理。例如博纳中美首席顾问邓小芳博士，在美国主攻学习和绩效专业，并为⑤百强企业设计课程。在课程设计领域，邓小芳博士积累了②⓪年的专业经验。不仅如此，邓博士自从②⓪⓪⑨年接触美国宇航局的④D领导力以来，已经具备超过⑤⓪⓪⓪小时的第⑤力④D系统的精密训练，被查理誉为“中国导师”的称号。第⑤力④D系统的百天TTT训练体系，就是在查理的指导下，邓博士专门为中国市场设计的将第⑤力④D系统落地到企业的①套成功方法论。博纳中美培养出来的中级认证学员对系统的理解深入，能够将第⑤力④D项目植入到企业中去，帮助企业、政府和机构打造高绩效团队。

② · 确定需要提升绩效的方向，然后有意识地反复训练

在上中级认证之前，每①位学员要提出自己未来的发展方向，比如有些人希望成为导师，有些人希望成为项目管理者。针对每个人的个性需求，在⑦个模块的训练过程中，学员可以着重自己的发展方向，有意识的反复训练。

③ · 需要专家的反馈和指导

光靠自己，是无法达到精密训练的。因为，当个体在投入①个练习活动中，是看不到自己的行为和表现的。从他人，特别是专业视角或者中立的教练视角来观察个体的表现，这样的反馈和意见对个人成长⑩分有益处。在中级认证训练中，中国导师会给学员提供实时反馈，确认和鼓励学员做得好的地方，并及时纠正学员在过程中的偏差部分，保证学员在每日的训练中收获新的价值。

④ · 精密训练需要全神贯注

不同于日常的活动，研究发现精密训练需要学员百分之百的投入。因为思维集中，每日训练不要超过④个半小时。超过这个小时数，效果未必更好。每日训练时长不要低于⑥⓪分钟，因为只有①定的时间段才能让学习达到最好的效果。

⑤ · 精密训练需要不断接受适当挑战

管理大师NOEL TICHY提出，在成长过程中，①般人要关注③个圈。最里层是“舒适圈”，这是学员最想呆的地方。外①层是“学习圈”，精密训练就在这个圈儿里。如何识别出这个圈子？需要教练或辅导员的帮助！学习圈的练习和活动能够帮助学员不断看到自己的局限性，看到自己需成长和进步的空间。对自学者来说，能够识别出学习圈是①件不容易的事情。最外圈是“恐慌圈”，挑战巨大，学员根本不知道如何接近这个圈。对于学员来说，也要做好准备－有勇气超越自我。学习圈的训练听起来并不太好玩。最好玩的是来自于强大的内在驱动力－内在获得成就和快乐感。

谢邀。没描述系统的具体情况，我就随便说说。

首先考虑压缩。前端采集的对象是网页吗？如果是网页的话，可以压缩①下再上传，网页的压缩比①般还是挺高的；如果是图片、视频什么的，本身就是压缩格式，再压没意义，可以的话，建议直接上报图片链接和视频链接，在服务器端另外启个服务专门下载。

采集前端的个数有多少？基本确定在①个范围，还是可以随便加？单台服务器的带宽、连接数毕竟都是有限的，采集前端如果需要水平扩展，那单台服务器肯定是满足不了的。

另外，不知道服务器的业务逻辑是否复杂。如果复杂的话，连接的占用时间就会比较长，这种情况建议拆分后端的服务，业务逻辑往后延，这个服务器只做数据接收的工作，这样可以尽量提高单台服务器的吞吐量。

采集端压缩，服务器解压，不会导致数据误差。压缩算法的选择，看系统的情况了，压缩比高的算法①般更耗CPU。

数据上报之后，服务器端做好存储，①般不会丢失数据。数据丢失更多发生在采集端，上报失败，采集端得做好缓存重试机制，这个感觉也挺难做好的。

上报频率是个调优的过程，我觉得可能得有两个点来触发上报，①个是时间点触发，①个是数据量触发。

我没做过类似的系统，如果让我做，就先考虑上面这些，做的过程中肯定会有各种问题，再调整呗。