九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

打開APP
userphoto
未登錄

開通VIP,暢享免費(fèi)電子書等14項(xiàng)超值服

開通VIP
Jupyter配置Spark開發(fā)環(huán)境


效果圖

無(wú)圖無(wú)真相,以下是運(yùn)行截圖,

Jupyter運(yùn)行界面:

作業(yè)監(jiān)控界面:


簡(jiǎn)介

為Jupyter配置Spark開發(fā)環(huán)境,可以安裝全家桶–Spark KernelToree,也可按需安裝相關(guān)組件。

考慮到一般人更喜歡一步到位,并且Toree將會(huì)代替Spark Kernel,故直接且僅需安裝Toree即可,不過(guò)下面還是給出了所有的安裝方法。


Spark Kernel的安裝

參照Spark Kernel支持的語(yǔ)言,安裝好Spark Kernel后,其默認(rèn)可以支持Scala,Python,R,SQL,對(duì)應(yīng)的Spark實(shí)現(xiàn)分別是Scala with Spark,Python with PySpark,R With SparkR,Spark SQL

參照上述鏈接,要切換語(yǔ)言時(shí),只需簡(jiǎn)單的在語(yǔ)句前面加上%%scala/%%pyspark即可。當(dāng)然,什么都不加時(shí),默認(rèn)語(yǔ)言為Scala。

另外,啟動(dòng)Jupyter后,可直接在http://localhost:4040/jobs/監(jiān)控所有作業(yè)。


Spark Kernel(舊的項(xiàng)目)

參照下面的安裝步驟進(jìn)行即可,就是有些繁瑣。


Toree(新項(xiàng)目)

根據(jù)Spark Kernel的介紹,自從Spark Kernel變成Apache的孵化項(xiàng)目后,其最新倉(cāng)庫(kù)已經(jīng) 遷移到了incubator-toree

安裝時(shí),參照Quick Start What is Apache Toree ,僅需兩條命令即可完成安裝。

pip install toreejupyter toree install --spark_home=your-spark-home
  • 1
  • 2

值得注意的是:

  1. Toree雖然還在孵化中,但已經(jīng)能完成上述Spark Kernel的全部功能,即可支持PySpark,Spark SQL等。
  2. 該kernel安裝在/usr/local/share/jupyter/kernels/apache_toree_scala目錄下

Spark組件單獨(dú)安裝

除了安裝上面的方法安裝Spark的全家桶外,還可以按需對(duì)各組件進(jìn)行安裝。 


Scala Kernel的安裝

參照jupyter-scala安裝即可。


PySpark的安裝

本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
PySpark和大數(shù)據(jù)處理初探
Jupyter在美團(tuán)民宿的應(yīng)用實(shí)踐
沒有自己的服務(wù)器如何學(xué)習(xí)生物數(shù)據(jù)分析(上篇)
Python版的Spark入門
Ubuntu Spark 環(huán)境搭建
搭建Spark計(jì)算平臺(tái) python操作Spark
更多類似文章 >>
生活服務(wù)
熱點(diǎn)新聞
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服