小说阅读网,网络小说排行榜,完美世界有声小说全集

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案

使用Python提供高性能計(jì)算服務(wù)

前言

成都創(chuàng)新互聯(lián)公司專注于陽(yáng)高網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。熱誠(chéng)為您提供陽(yáng)高營(yíng)銷型網(wǎng)站建設(shè)，陽(yáng)高網(wǎng)站制作、陽(yáng)高網(wǎng)頁(yè)設(shè)計(jì)、陽(yáng)高網(wǎng)站官網(wǎng)定制、小程序開發(fā)服務(wù)，打造陽(yáng)高網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供陽(yáng)高網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

python具有豐富的庫(kù)，并且很容易作為膠水語(yǔ)言很容易與c/c++進(jìn)行交互集成。

因此為了適應(yīng)快速變化的業(yè)務(wù)和兼顧計(jì)算效率，在上層采用python作為server提供service，在底層采用c/c++進(jìn)行計(jì)算是一種對(duì)于算法開發(fā)者非常適宜的方式。

python flask庫(kù)提供http接口以及相關(guān)demo頁(yè)面，gunicorn提供多核并行能力，底層c++庫(kù)提供單線程上的計(jì)算。

下面通過(guò)一個(gè)例子說(shuō)明這種架構(gòu)。代碼地址：python_hps

準(zhǔn)備

在實(shí)驗(yàn)開始之前，需要安裝flask、gunicorn、apach bench tool等工具。

注：所有實(shí)驗(yàn)均在linux系統(tǒng)中進(jìn)行。測(cè)試機(jī)器為4核虛擬機(jī)。

 
 
 
 
  
  
  
  sudo pip install flask 
  
  
  
  sudo pip install gunicorn 
  
  
  
  sudo apt-get install apache2-utils

計(jì)算

計(jì)算部分模擬真實(shí)計(jì)算，因此計(jì)算量比較大，在我測(cè)試的虛擬機(jī)上單核單線程跑400ms左右。

c++核心計(jì)算部分，隨便寫的：

 
 
 
 
  
  
  
  API_DESC int foo(const int val) 
  
  
  
  { 
  
  
  
      float result = 0.0f; 
  
  
  
      for(int c=0;c<1000;c++) 
  
  
  
      { 
  
  
  
          for(int i=0;i
  
  
  
  
        { 
  
  
  
              result += (i); 
  
  
  
              result += sqrt((float)(i*i)); 
  
  
  
              result += pow((float)(i*i*i),0.1f); 
  
  
  
          } 
  
  
  
      } 
  
  
  
      return (int)result; 
  
  
  
  }

python wrapper，采用ctypes：

 
 
 
 
  
  
  
  #python wrapper of libfoo 
  
  
  
  class FooWrapper: 
  
  
  
      def __init__(self): 
  
  
  
          cur_path = os.path.abspath(os.path.dirname(__file__)) 
  
  
  
          self.module = ctypes.CDLL(os.path.join(cur_path,'./impl/libfoo.so')) 
  
  
  
      def foo(self,val):     
  
  
  
          self.module.foo.argtypes = (ctypes.c_int,) 
  
  
  
          self.module.foo.restype = ctypes.c_int 
  
  
  
          result = self.module.foo(val) 
  
  
  
          return result

flask http API：

 
 
 
 
  
  
  
  @app.route('/api/foo',methods=['GET','POST']) 
  
  
  
  def handle_api_foo(): 
  
  
  
      #get input 
  
  
  
      val = flask.request.json['val'] 
  
  
  
      logging.info('[handle_api_foo] val: %d' % (val)) 
  
  
  
      #do calc 
  
  
  
      result = fooWrapper.foo(val) 
  
  
  
      logging.info('[handle_api_foo] result: %d' % (result)) 
  
  
  
      result = json.dumps({'result':result}) 
  
  
  
      return result

單核服務(wù)

首先測(cè)試python單核服務(wù)，同時(shí)也是單線程服務(wù)(由于python GIL的存在，python多線程對(duì)于計(jì)算密集型任務(wù)幾乎起反作用)。

啟動(dòng)服務(wù)

在script目錄下執(zhí)行run_single.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  #python 
  
  
  
  export PYTHONIOENCODING=utf-8 
  
  
  
  #start server 
  
  
  
  cd `pwd`/.. 
  
  
  
  echo "run single pocess server" 
  
  
  
  python server.py 
  
  
  
  cd - 
  
  
  
  echo "server is started."

測(cè)試服務(wù)

另外打開一個(gè)終端，執(zhí)行script目錄下的bench.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo

測(cè)試結(jié)果

CPU運(yùn)轉(zhuǎn)

ab測(cè)試結(jié)果

可以看出CPU只用了1個(gè)核，負(fù)載是2.44 request/second。

多核

啟動(dòng)服務(wù)

在script目錄下執(zhí)行run_parallel.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  #python 
  
  
  
  export PYTHONIOENCODING=utf-8 
  
  
  
  #start server 
  
  
  
  cd `pwd`/.. 
  
  
  
  echo "run parallel pocess server" 
  
  
  
  gunicorn -c gun.conf server:app 
  
  
  
  cd - 
  
  
  
  echo "server is started."

其中g(shù)un.conf是一個(gè)python腳本，配置了gunicorn的一些參數(shù)，如下：

 
 
 
 
  
  
  
  import multiprocessing 
  
  
  
  bind = '0.0.0.0:4096' 
  
  
  
  workers = max(multiprocessing.cpu_count()*2+1,1) 
  
  
  
  backlog = 2048 
  
  
  
  worker_class = "sync" 
  
  
  
  debug = False 
  
  
  
  proc_name = 'foo_server'

測(cè)試服務(wù)

另外打開一個(gè)終端，執(zhí)行script目錄下的bench.sh，即

 
 
 
 
  
  
  
  #!/bin/sh 
  
  
  
  ab -T 'application/json' -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo

測(cè)試結(jié)果

CPU運(yùn)轉(zhuǎn)

ab測(cè)試結(jié)果

可以看出CPU用滿了4個(gè)核，負(fù)載是8.56 request/second。是單核的3.5倍左右，可以任務(wù)基本達(dá)成多核有效利用的的目的。

總結(jié)

使用flask、gunicorn基本可以搭建一個(gè)用于調(diào)試或者不苛責(zé)過(guò)多性能的服務(wù)，用于算法服務(wù)提供非常方便。本文提供該方案的一個(gè)簡(jiǎn)單示例，實(shí)際業(yè)務(wù)中可基于此進(jìn)行修改完善。

網(wǎng)站標(biāo)題：使用Python提供高性能計(jì)算服務(wù)
網(wǎng)站地址：http://m.fisionsoft.com.cn/article/coejisg.html

新聞中心

其他資訊