無(wú)圖無(wú)真相,以下是運(yùn)行截圖,
Jupyter運(yùn)行界面:
作業(yè)監(jiān)控界面:
為Jupyter配置Spark開發(fā)環(huán)境,可以安裝全家桶–Spark Kernel
或Toree
,也可按需安裝相關(guān)組件。
考慮到一般人更喜歡一步到位,并且Toree
將會(huì)代替Spark Kernel
,故直接且僅需安裝Toree
即可,不過(guò)下面還是給出了所有的安裝方法。
參照Spark Kernel支持的語(yǔ)言,安裝好Spark Kernel后,其默認(rèn)可以支持Scala,Python,R,SQL,對(duì)應(yīng)的Spark實(shí)現(xiàn)分別是Scala with Spark
,Python with PySpark
,R With SparkR
,Spark SQL
。
參照上述鏈接,要切換語(yǔ)言時(shí),只需簡(jiǎn)單的在語(yǔ)句前面加上%%scala
/%%pyspark
即可。當(dāng)然,什么都不加時(shí),默認(rèn)語(yǔ)言為Scala。
另外,啟動(dòng)Jupyter后,可直接在http://localhost:4040/jobs/
監(jiān)控所有作業(yè)。
參照下面的安裝步驟進(jìn)行即可,就是有些繁瑣。
根據(jù)Spark Kernel的介紹,自從Spark Kernel變成Apache的孵化項(xiàng)目后,其最新倉(cāng)庫(kù)已經(jīng) 遷移到了incubator-toree。
安裝時(shí),參照Quick Start What is Apache Toree ,僅需兩條命令即可完成安裝。
pip install toreejupyter toree install --spark_home=your-spark-home
值得注意的是:
/usr/local/share/jupyter/kernels/apache_toree_scala
目錄下除了安裝上面的方法安裝Spark的全家桶外,還可以按需對(duì)各組件進(jìn)行安裝。
參照jupyter-scala安裝即可。
聯(lián)系客服