我的研究方向就是大数据和人工智能,目前我也在带研发团队做相关的落地项目,所以我来一下这个问题。
大数据的研发围绕数据展开,涉及到数据的采集、整理、传输、存储、安全、分析、呈现和应用等内容,涉及到的岗位也非常多,这其中有的岗位有一定的难度,比如数据安全、分析等,有的岗位难度相对较小,比如数据整理、数据清洗等。
大数据的发展极大促进了人工智能的发展,因为数据是智能的基础,所以从这个角度来看,大数据的发展与人工智能的发展必然是互相促进的。我就是从大数据研发转向机器学习的,进而进入人工智能领域,这也是很多人进入人工智能领域的途径。
机器学习涉及到的核心步骤包括数据收集、算法设计、算法训练、算法验证和算法应用等,这其中数据是机器学习的基础,只有具备了足够的训练数据才能让机器学习顺利进行,而大数据的特点就是海量数据。
人工智能的研究主要涉及到六大部分,分别是自然语言处理、知识表示、自动推理、机器学习、计算机视觉和机器人学,可以说人工智能是典型的多学科交叉专业,涉及到的内容多且复杂,所以人工智能虽然经历了半个多世纪的发展,但是目前仍然处在初级阶段。目前随着大数据的发展,在很多特定场景下已经有大量的智能体(Agent)在实际应用,相信未来智能体的应用将更加普遍。
谢谢您的问题。我认为,大数据和人工智能不存在谁更难,因为都有难以把控的难点。
- 两者是融合的,不要割裂看。大数据是基础,人工智能是高级应用。比如,大数据可以看作一筐苹果,对其进行分类。把熟与不熟的分出来,把大的小的分出来,把好的坏的分出来。人工智能是对数据数据使用过程中,一种精准的智能化反馈。比如线上购物反映出来的喜好,滴滴打车常去的地点等。人工智能发挥作用必须使用大数据,两者很难分开看。
- 大数据开发有难点。第一,大数据未必可用。是否存在缺失、偏差等,比如一筐苹果混入了大量的梨子。第二,大数据规模不够。一筐苹果肯定比一盘苹果更有科学性。第三,算法不是万能的。一个算法只能单向解决一个问题,对于跨度广、要素多的专题,算法的复杂度增加,精准度可能会下降。第四,数据不能说明一切问题。比如政治、法律、自然灾害等外部突发因素。大数据重在对历史已有的数据分析,对未来突发状况作用和影响很小。所以,大数据有其难以克服的短板 。
- 人工智能有难点。人工智能分为输入、理解、输出三个步骤。最难的就是理解,而且现在的人工智能没有理解能力,因为信息输入有无数组合、多元涵义,特别是博大精深的汉语。目前人工智能的一些互动应用,都是提前录入了固定的程式、模型、组合,才能针对性地反馈。以后增强人工智能对信息理解,如语音识别分析,涉及很多生物、医学等学科,是难中之难。不过,这都需要使用大数据。
欢迎批评指正。
以下首先从两方面阐述一下人工智能和大数据。
广义
广义上讲,这两个方向没有界限,人工智能必然涉及大量数据,所以,可以认为人工智能是大数据的一个范畴或者研究方向,而人工智能又可以细分很多方向,比如自然语言处理、计算机视觉、搜索推荐,这些都涉及大量数据,都可以称为大数据技术,所以没有哪个好哪个坏,就看你喜欢做哪个方向。
狭义
从狭义上讲,我认为人工智能好一些,本人之前做过一段时间的大数据,狭义上的大数据就是围绕着Spark、Hadoop、flink等框架对庞大数据进行处理,包括清洗、存储、分析等,分析的话又会用到一些机器学习算法,比如回归分析、随机森林、SVM等。狭义上的人工智能主要是围绕着计算机视觉(CV)和自然语言处理(NLP)展开,这方面涉及的知识面更加广泛,强化学习、机器学习、图像处理、语义分析、优化算法等,所以对于一个人来说成长空间更加宽阔。
这样说来,人工智能涉及的知识面更加宽广一些,所以相对来说难一些。
怎么学好?
选定一个方向
大数据和人工智能是相辅相成的关系,人工智能需要以大数据技术为底层支持,而大数据通常是以人工智能为外在体现,这两者用到一定深度是需要同时都懂的。相比较而言人工智能更容易入门一些,大数据开发入门对专业性要求更高,但到了企业级应用,则人工智能的算法难度和业务广度就出现了,这个时候反而是大数据更容易做深做精。根据你的工作岗位和真实需要来选择哪一个具体的方向入门比较好,一旦入门之后,你就会发现应用场景决定研究方向,技术只是辅助手段。
先聊聊人工智能该如何学习,有空的时候建议读一下这篇加州大学朱纯松教授对人工智能的描述:https://mp.weixin.qq.com/s/-wSYLu-XvOrsST8_KEUa-Q,不能空学人工智能,一定要基于项目去实践才能感受到自己的成长,才能记得住学到的各种理念、算法和技术。人工智能分了很多学科,项目或产品往往会集中在某一类或有限个学科中,比如视觉分析技术目前相对来说比较成熟,在GitHub上有很多开源的代码,从中你可以快速得到直观的认知,诸如人脸识别、视频结构化、模式识别、肢体姿态识别等,但如果你不在项目中使用这些技术,你仍然很难记住。有时候你不会实现某一项技术并不能阻止你前进,因为你可以去请教别人或查文献资料,阻止你前进是你不知道自己应该做点什么。几乎所有的开发语言都可以用于实现人工智能的项目,但目前来看python更适合快速入门,而C++更适合算法底层实现,java和C#适合做上层应用,当然,这不是固定的套路,你可以选择你最熟悉的开发语言入手。
大数据入门需要一定的功底,建议你找一些网课先听听,hadoop开源生态圈有大量的资料,这也是目前最容易接触到的大数据学习资料。大数据从最底层的文件系统开始,覆盖数据采集、ETL工具、数据库、分布式运算、批处理、数据仓库、搜索引擎、工作流引擎等技术。以hadoop为例,目前具备十分成熟的开发阵营和组件族,目前国外比较好的有Apache,cloudrea,hortonworks等,国内有华为、腾讯等平台,都具有成熟稳定的版本,新手建议以CDH或HDP为实践对象进行尝试,读万卷书不如行万里路,光看书逛论坛是不行的,一定要动手搭环境实操。
从入门的硬件投入要求来看,人工智能的入门级投入成本较低,有块好点的显卡就能进行GPU运算了,而大数据需要的硬件投入更多一些。从就业前景来看,大数据目前的岗位要求更为成熟,由于中档位的大数据工程师待遇更好,大部分人一般会选择大数据进行深入研究,人工智能是如日中天正在爬坡,做到高级别水平一人可以顶一个上市公司。
我本人是做人工智能+大数据企业的,学这两个领域花费了我大量的时间和精力,可在这个领域我依然只能说是一知半解,由于我的角色更多的是需要广度而不是深度,所以我选择的是涉猎更大范围的知识空间,但只专精在极少数方面。有一个经验是值得共享的,一定要以系统架构的思维来看待和解决问题,推荐一本《一线架构师指南》。
感请。
因为非大数据和人工智能专业,无法出来专业的答案,但是也不妨碍对这两个项目的理解。前面已经过类似的问题了,今天再以自己的话,重新整理一下。
大数据开发与人工智能,应该是人工智能会更难一些。
1、个人理解的,大数据就是,非常多,非常杂的数据混合在一起,那么第一步肯定是如何收集数据,也就是你在互联网上留下的任何足迹,还有你在现实中,留下一些痕迹,有大数据设备采集,比如,你买了高铁票,去哪里玩,搜索了什么关键字等等,都会被大数据收集起来,存储好。
我认为大数据与人工智能相辅相成的,人工智能更高级一点点~
大数据
大数据(big data)在百度百科上是这么就是的,它是指无法在一定时间范围内用常规软件工具处理的数据集合,是需要新处理模式才能处理的信息资产。
在数据方面我们主要研究的是对巨量数据的处理,如何将数据进行合理的挖掘得到我们想要的有用的信息。上面的图片中我们可以看出云计算,分布式处理平台等是大数据研究学习的方向。
人工智能
对于人工智能(Artificial Intelligence,简称AI)来说,这是研究人类智能活动的规律,构造具有一定智能的人工系统,人工智能是计算机学科的一个分支。
感谢你的问题,大数据开发就像一个房子的地基,而人工智能就像是地面上的建筑,所以对于现代化的流程来说没有那一个更难,地基要是打不好,何来上层建筑 上层建筑不好,何来吸引人们的眼光,所以,大数据和人工智能是等同的,没有谁难一说。
据我所知,有大数据支撑,人工智能才会更智能,而人工智能让大数据的价值更充分地发挥出来。也就是说,大数据如同自来水,人工智能如同供水系统,你若到水厂工作,怎么也需要既了解水的原理,又了解供水系统。难道你以为,你偷懒只了解其中一样,然后到水厂面试,水厂就会要你?!所以你就不要看两者哪个更难学,学的话就应该两者都学。