首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

Hadoop_java与python的关系

Hadoop_java与python的关系

Hadoop_java与python的关系

  python 是一门动态语言,

  hadoop是一个分布式计算的框架, 是用java写的。

  他们是两个层次的东西。

  如果说非要有联系, 就是python可以应用hadoop框架, 做分布式计算的开发。

  但是语言和框架, 是可以自己拼装的。 java也可以使用hadoop开发分布式计算,

  python也可以用spark开发分布式计算,可以自己根据需求搭配

Hadoop_java与python的关系


  java与python区别:

  一、python虚拟机没有java强,java虚拟机是java的核心,python的核心是可以很方便地使用c语言函数或c++库。

  二、python是全动态性的,可以在运行时自己修改自己的代码,java只能通过变通方法实现。python的变量是动态的,而java的变量是静态的,需要事先声明,所以java ide的代码提示功能优于python ide。

  三,python的产生几十年了,几十年前面向过程是主流,所以用python有好多程序用的是面向过程设计方法,很多概念从c语言过来的,class在python中是后加入的,而java是为了实现没有指针的c++(当年com组件用的引用记数,java用的虚拟机),主要采用面向对象的设计方法,很多概念是oop的概念。面向过程,相对简洁直观,但容易设计出面条程序,面向对象,相对抽象优雅,但容易过度抽象。

  四,在实际使用的python入门简单,但要学会用python干活,需要再学习python各种库,pyhton的强大在于库,为什么python的库强大,原因是python的库可以用python,c语言,c++等设计,再提供给python使用,所以无论gpu运行,神经网络,智能算法,数据分析,图像处理,科学计算,各式各样的库在等着你用。而java没有python那么多的开源库,很多库是商业公司内部使用,或发布出来只是一个jar包,看不到原始代码。python虚拟机因为编译性没有java的支持的好(或者说故意这么设计的),一般直接使用源码(linux),或源码简单打个包(如pyexe)。

  五、python有很多虚拟机实现,如cython,Pyston,pypy,jython, IronPython等等,适合用于业务语言,或插件语言,或面向领域语言,而java因为虚拟机巨大,很少用于插件语言,发布也不方便。

  六、java主要用于商业逻辑强的领域,如商城系统,erp,oa,金融,保险等传统数据库事务领域,通过类似ssh框架事务代码,对商业数据库,如oralce,db2,sql server等支持较好,软件工程理念较强,适合软件工程式的多人开发模式。python主要用于web数据分析,科学计算,金融分析,信号分析,图像算法,数学计算,统计分析,算法建模,服务器运维,自动化操作,快速开发理念强,适合快速开发团队或个人敏捷模式。

  七、java的商业化公司支持多,如sap,oracle,ibm等,有商业化的容器,中间件,企业框架ejb。python的开源组织支持多,如qt,linux,google,很多开源程序都支持python, 如pyqt,redis,spark等。

  八、python用途最多的是脚本,java用途最多的是web,pyhotn是胶水,可以把各类不相关的东西粘在一起用,java是基佬,可以通过软件工程组成几百个人的团队和你pk,商业化气息重。不过我认为还是python强大,因为可以方便调用c或c++的库,但软件工程和商业化运作没有java好,适合快捷开发。

  九,关于钱。

  如果你想写程序卖软件用java,可用上ibm服务器,上oracle数据库,上EMC存储,价格高,商业采购公司喜欢这种高大上。如果你要直接用程序生成金钱用python,python可以实现宽客金融,数据回测,炒股,炒期权,炒黄金,炒比特币,对冲套利,统计套利,有很多开源库,数据分析库,机器学习库可以参考。

  十、java和python,都可以运行于linux操作系统,但很多linux可以原生支持python,java需要自行安装。java和python强于c#的原因大于支持linux,支持osx,支持unix,支持arm。java和python比c++受欢迎的原因在于不需要指针。

  十一、对于移动互联网,python只能通过运行库运行于安卓或ios,java原生支持安卓开发,但不能用ios中。

  十二、对于大数据,hadoop用java开的, spark用Scala开发,用python调用spark再分析更方便。

Hadoop_java与python的关系

  通俗的来说就是如下几点

  1. Python比Java简单,学习成本低,开发效率高

  2.Java运行效率高于Python,尤其是纯Python开发的程序,效率极低

  3.Java相关资料多,尤其是中文资料

  4.Java版本比较稳定,Python2和3不兼容导致大量类库失效

  5.Java开发偏向于软件工程,团队协同,Python更适合小型开发

  6.Java偏向于商业开发,Python适合于数据分析

  7.Java是一种静态类型语言,Python是一种动态类型语言

  8.Java中的所有变量需要先声明(类型)才能使用,Python中的变量不需要声明类型

  9.Java编译以后才能运行,Python直接就可以运行;

  10.JAVA 里的块用大括号对包括,Python 以冒号 + 四个空格缩进表示。

  11.JAVA 的类型要声明,Python 的类型不需要。

  12.JAVA 每行语句以分号结束,Python 可以不写分号。

  13.实现同一功能时,JAVA 要敲的键盘次数一般要比 Python 多。

  一些细节区别:

  1.数

  python只有四种数据:整数,长整数、浮点数和复数

  java则有char,short,byte,int,long,float,double类型

  2. 字符串

  2.1. 字符串表示

  Python中没有表示单个常量字符串类型的char类型,其可以用单引号‘ ’或双引号“ ”来表示一个字符串,也可以用三引号来表示一个多行字符串

  Java中char表示单个字符,String表示一个字符串,常量字符或字符串用双引号“ ”表示

  2.2. 多行字符串

  Python在字符串末尾加上反斜杠(/)表示字符串在下一行继续

  Java用加号(+)表示字符串在下一行继续

  2.3. Python中其它的表示方法

  Python中还有可以在字符串前加前缀r或R:表示自然字符串,即不对字符串做转移处理比java方便

  Python可以加前缀u或U:表示unicode字符串

  注意: Python 中的__init__()方法类似与Java中的构造函数,Java构造函数中的self默认存在,不需要在构造函数声明的时候进行显示指明,但是Python需要在__init__()函数中显示指明(但是ID调用时不用显示进行self传递)。

  3. 操作符

  Python中**表示幂计算,如果 X**y表示 Xy

  Python中//表示整除,即商的整数部分

  Python中~表示按位翻转,~x就是-(x+1)

  4. 对象的序列化表示

  Python中可以使用str()或repr()函数来实现对象的序列化

  Java中通过toString()方法来实现对象的序列化

  Hadoop简介

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

  用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

  Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

  Java简介

  Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承、指针等概念,因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表,极好地实现了面向对象理论,允许程序员以优雅的思维方式进行复杂的编程。

  Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。

  Python简介

  是一种面向对象的解释型计算机程序设计语言,由荷兰人Guido van Rossum于1989年发明,第一个公开发行版发行于1991年。

  Python是纯粹的自由软件, 源代码和解释器CPython遵循 GPL(GNU General Public License)协议 。Python语法简洁清晰,特色之一是强制用空白符(white space)作为语句缩进。

  Python 适合的领域:

  1. Web网站和各种网络服务;

  2. 系统工具和脚本;

  3. 作为“胶水”语言把其他语言开发的模块包装起来方便使用;

  Python 和其他语言对比:

  1. C 编译为机器码,运行速度非常快,代码量非常多;

  2. Java 编译为字节码,运行速度快,代码量多;

  3. Python解释执行,运行速度慢,代码量少;

  Python基本语法:

  和java不同,不需要方法加 { } 定义决定一个代码块,Python对代码缩进控制严格,基本可以通过缩进决定代码块。

  关于变量:

  1. 定义:无需声明类型,且必须赋值;

  2. 使用范围:在变量前加两个下划线如:__content = “haha”代表该类变量私有,不加则默认公有.
返回列表