Submit Search
Upload
高速ネットワーク最新動向と具体例 (ENOG58 Meeting)
•
1 like
•
639 views
Naoto MATSUMOTO
Follow
高速ネットワーク最新動向と具体例 (ENOG58 Meeting) Naoto MATSUMOTO / 流しの研究者 2019年08月30日
Read less
Read more
Technology
Report
Share
Report
Share
1 of 11
Recommended
「BluetoothでLinuxマシンとAndroidを繋いで話が出来るようにした話」「台風で停電になって省電力の設定をした話」「ネットワークの設定が引き...
「BluetoothでLinuxマシンとAndroidを繋いで話が出来るようにした話」「台風で停電になって省電力の設定をした話」「ネットワークの設定が引き...
Kenichiro MATOHARA
[DL Hacks]FPGA入門
[DL Hacks]FPGA入門
Deep Learning JP
SDN Lab環境でのRobotFramework実践活用
SDN Lab環境でのRobotFramework実践活用
Toshiki Tsuboi
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい
Kenichiro MATOHARA
FreeBSD jail+vnetと戯れた話
FreeBSD jail+vnetと戯れた話
Masaru Oki
Lagopus as open flow hybrid switch 実践編
Lagopus as open flow hybrid switch 実践編
Masaru Oki
GoBGP活用によるSD-WANプラクティス
GoBGP活用によるSD-WANプラクティス
Toshiki Tsuboi
Pythonによる並列プログラミング -GPGPUも-
Pythonによる並列プログラミング -GPGPUも-
Yusaku Watanabe
Recommended
「BluetoothでLinuxマシンとAndroidを繋いで話が出来るようにした話」「台風で停電になって省電力の設定をした話」「ネットワークの設定が引き...
「BluetoothでLinuxマシンとAndroidを繋いで話が出来るようにした話」「台風で停電になって省電力の設定をした話」「ネットワークの設定が引き...
Kenichiro MATOHARA
[DL Hacks]FPGA入門
[DL Hacks]FPGA入門
Deep Learning JP
SDN Lab環境でのRobotFramework実践活用
SDN Lab環境でのRobotFramework実践活用
Toshiki Tsuboi
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい
Kenichiro MATOHARA
FreeBSD jail+vnetと戯れた話
FreeBSD jail+vnetと戯れた話
Masaru Oki
Lagopus as open flow hybrid switch 実践編
Lagopus as open flow hybrid switch 実践編
Masaru Oki
GoBGP活用によるSD-WANプラクティス
GoBGP活用によるSD-WANプラクティス
Toshiki Tsuboi
Pythonによる並列プログラミング -GPGPUも-
Pythonによる並列プログラミング -GPGPUも-
Yusaku Watanabe
High speed-pc-router 201505
High speed-pc-router 201505
ykuga
SDN Japan: ovs-hw
SDN Japan: ovs-hw
ykuga
BMP活用による SDN時代のオーバレイNW監視手法の提案
BMP活用による SDN時代のオーバレイNW監視手法の提案
Toshiki Tsuboi
Traffic Management with Istio ( with Demo )
Traffic Management with Istio ( with Demo )
ロフト くん
ひよこch 配信中
ひよこch 配信中
Kenichiro MATOHARA
Fpgax 20130604
Fpgax 20130604
Takefumi MIYOSHI
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい2
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい2
Kenichiro MATOHARA
SDNアプローチによるBGP経路監視の提案
SDNアプローチによるBGP経路監視の提案
Toshiki Tsuboi
NVIDIA TESLA V100・CUDA 9 のご紹介
NVIDIA TESLA V100・CUDA 9 のご紹介
NVIDIA Japan
hpingで作るパケット
hpingで作るパケット
Takaaki Hoyo
勉強会向けサーバを作ってみる2 / Rasbian jessieを試す/ Google Authenticatorのパスコードを作る
勉強会向けサーバを作ってみる2 / Rasbian jessieを試す/ Google Authenticatorのパスコードを作る
Kenichiro MATOHARA
Chainer で Tensor コア (fp16) を使いこなす
Chainer で Tensor コア (fp16) を使いこなす
NVIDIA Japan
Kernel vm-2014-05-25
Kernel vm-2014-05-25
Hirochika Asai
about Tcpreplay
about Tcpreplay
@ otsuka752
Ras piでrt linux
Ras piでrt linux
Hideki Aoshima
ちょっと古いマシンにLinuxを
ちょっと古いマシンにLinuxを
Kenichiro MATOHARA
Reconf_201409
Reconf_201409
Takefumi MIYOSHI
Using rump on NetBSD 7.0
Using rump on NetBSD 7.0
Masaru Oki
2015年度GPGPU実践基礎工学 第5回 ハードウェアによるCPUの高速化技術
2015年度GPGPU実践基礎工学 第5回 ハードウェアによるCPUの高速化技術
智啓 出川
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
Atsushi Suzuki
(JP) GPGPUがPostgreSQLを加速する
(JP) GPGPUがPostgreSQLを加速する
Kohei KaiGai
about DakotagUI
about DakotagUI
Etsuji Nomura
More Related Content
What's hot
High speed-pc-router 201505
High speed-pc-router 201505
ykuga
SDN Japan: ovs-hw
SDN Japan: ovs-hw
ykuga
BMP活用による SDN時代のオーバレイNW監視手法の提案
BMP活用による SDN時代のオーバレイNW監視手法の提案
Toshiki Tsuboi
Traffic Management with Istio ( with Demo )
Traffic Management with Istio ( with Demo )
ロフト くん
ひよこch 配信中
ひよこch 配信中
Kenichiro MATOHARA
Fpgax 20130604
Fpgax 20130604
Takefumi MIYOSHI
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい2
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい2
Kenichiro MATOHARA
SDNアプローチによるBGP経路監視の提案
SDNアプローチによるBGP経路監視の提案
Toshiki Tsuboi
NVIDIA TESLA V100・CUDA 9 のご紹介
NVIDIA TESLA V100・CUDA 9 のご紹介
NVIDIA Japan
hpingで作るパケット
hpingで作るパケット
Takaaki Hoyo
勉強会向けサーバを作ってみる2 / Rasbian jessieを試す/ Google Authenticatorのパスコードを作る
勉強会向けサーバを作ってみる2 / Rasbian jessieを試す/ Google Authenticatorのパスコードを作る
Kenichiro MATOHARA
Chainer で Tensor コア (fp16) を使いこなす
Chainer で Tensor コア (fp16) を使いこなす
NVIDIA Japan
Kernel vm-2014-05-25
Kernel vm-2014-05-25
Hirochika Asai
about Tcpreplay
about Tcpreplay
@ otsuka752
Ras piでrt linux
Ras piでrt linux
Hideki Aoshima
ちょっと古いマシンにLinuxを
ちょっと古いマシンにLinuxを
Kenichiro MATOHARA
Reconf_201409
Reconf_201409
Takefumi MIYOSHI
Using rump on NetBSD 7.0
Using rump on NetBSD 7.0
Masaru Oki
2015年度GPGPU実践基礎工学 第5回 ハードウェアによるCPUの高速化技術
2015年度GPGPU実践基礎工学 第5回 ハードウェアによるCPUの高速化技術
智啓 出川
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
Atsushi Suzuki
What's hot
(20)
High speed-pc-router 201505
High speed-pc-router 201505
SDN Japan: ovs-hw
SDN Japan: ovs-hw
BMP活用による SDN時代のオーバレイNW監視手法の提案
BMP活用による SDN時代のオーバレイNW監視手法の提案
Traffic Management with Istio ( with Demo )
Traffic Management with Istio ( with Demo )
ひよこch 配信中
ひよこch 配信中
Fpgax 20130604
Fpgax 20130604
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい2
技適なBluetooth GNSS/GPSレシーバーをRaspberryPiで作りたい2
SDNアプローチによるBGP経路監視の提案
SDNアプローチによるBGP経路監視の提案
NVIDIA TESLA V100・CUDA 9 のご紹介
NVIDIA TESLA V100・CUDA 9 のご紹介
hpingで作るパケット
hpingで作るパケット
勉強会向けサーバを作ってみる2 / Rasbian jessieを試す/ Google Authenticatorのパスコードを作る
勉強会向けサーバを作ってみる2 / Rasbian jessieを試す/ Google Authenticatorのパスコードを作る
Chainer で Tensor コア (fp16) を使いこなす
Chainer で Tensor コア (fp16) を使いこなす
Kernel vm-2014-05-25
Kernel vm-2014-05-25
about Tcpreplay
about Tcpreplay
Ras piでrt linux
Ras piでrt linux
ちょっと古いマシンにLinuxを
ちょっと古いマシンにLinuxを
Reconf_201409
Reconf_201409
Using rump on NetBSD 7.0
Using rump on NetBSD 7.0
2015年度GPGPU実践基礎工学 第5回 ハードウェアによるCPUの高速化技術
2015年度GPGPU実践基礎工学 第5回 ハードウェアによるCPUの高速化技術
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
Similar to 高速ネットワーク最新動向と具体例 (ENOG58 Meeting)
(JP) GPGPUがPostgreSQLを加速する
(JP) GPGPUがPostgreSQLを加速する
Kohei KaiGai
about DakotagUI
about DakotagUI
Etsuji Nomura
200625material naruse
200625material naruse
RCCSRENKEI
機械学習 / Deep Learning 大全 (6) Library編
機械学習 / Deep Learning 大全 (6) Library編
Daiyu Hatakeyama
20181212 - PGconf.ASIA - LT
20181212 - PGconf.ASIA - LT
Kohei KaiGai
もしCloudStackのKVMホストでPCIパススルーできるようになったら
もしCloudStackのKVMホストでPCIパススルーできるようになったら
Takuma Nakajima
Apache cloudstack4.0インストール
Apache cloudstack4.0インストール
Yasuhiro Arai
CMSI計算科学技術特論B(14) OpenACC・CUDAによるGPUコンピューティング
CMSI計算科学技術特論B(14) OpenACC・CUDAによるGPUコンピューティング
Computational Materials Science Initiative
Linux Performance Analysis in 15 minutes
Linux Performance Analysis in 15 minutes
Yohei Azekatsu
OpenStack を NetApp Unified Driver と NFS Copy Offload を使って拡張する Vol.002
OpenStack を NetApp Unified Driver と NFS Copy Offload を使って拡張する Vol.002
Takeshi Kuramochi
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
akirahiguchi
Ethernetの受信処理
Ethernetの受信処理
Takuya ASADA
クックパッドのスケーリング
クックパッドのスケーリング
Satoshi Takada
20161121 open hyperscale#6
20161121 open hyperscale#6
ManaMurakami1
pgconfasia2016 lt ssd2gpu
pgconfasia2016 lt ssd2gpu
Kohei KaiGai
Rubyで創るOpenFlowネットワーク - LLまつり
Rubyで創るOpenFlowネットワーク - LLまつり
Yuya Rin
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
ハイシンク創研 / Laboratory of Hi-Think Corporation
Reconf 201506
Reconf 201506
Takefumi MIYOSHI
about dakota6.7 gui
about dakota6.7 gui
Etsuji Nomura
Fabricによるcloud stackインストール自動化
Fabricによるcloud stackインストール自動化
hiroyuki nakajima
Similar to 高速ネットワーク最新動向と具体例 (ENOG58 Meeting)
(20)
(JP) GPGPUがPostgreSQLを加速する
(JP) GPGPUがPostgreSQLを加速する
about DakotagUI
about DakotagUI
200625material naruse
200625material naruse
機械学習 / Deep Learning 大全 (6) Library編
機械学習 / Deep Learning 大全 (6) Library編
20181212 - PGconf.ASIA - LT
20181212 - PGconf.ASIA - LT
もしCloudStackのKVMホストでPCIパススルーできるようになったら
もしCloudStackのKVMホストでPCIパススルーできるようになったら
Apache cloudstack4.0インストール
Apache cloudstack4.0インストール
CMSI計算科学技術特論B(14) OpenACC・CUDAによるGPUコンピューティング
CMSI計算科学技術特論B(14) OpenACC・CUDAによるGPUコンピューティング
Linux Performance Analysis in 15 minutes
Linux Performance Analysis in 15 minutes
OpenStack を NetApp Unified Driver と NFS Copy Offload を使って拡張する Vol.002
OpenStack を NetApp Unified Driver と NFS Copy Offload を使って拡張する Vol.002
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
Ethernetの受信処理
Ethernetの受信処理
クックパッドのスケーリング
クックパッドのスケーリング
20161121 open hyperscale#6
20161121 open hyperscale#6
pgconfasia2016 lt ssd2gpu
pgconfasia2016 lt ssd2gpu
Rubyで創るOpenFlowネットワーク - LLまつり
Rubyで創るOpenFlowネットワーク - LLまつり
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
Reconf 201506
Reconf 201506
about dakota6.7 gui
about dakota6.7 gui
Fabricによるcloud stackインストール自動化
Fabricによるcloud stackインストール自動化
More from Naoto MATSUMOTO
Alder Lake-S CPU Temperature Monitoring
Alder Lake-S CPU Temperature Monitoring
Naoto MATSUMOTO
CPU製品出荷状況と消費電力の見える化
CPU製品出荷状況と消費電力の見える化
Naoto MATSUMOTO
5Gの見える化
5Gの見える化
Naoto MATSUMOTO
2023年以降のサーバークラスタリング設計(メモ)
2023年以降のサーバークラスタリング設計(メモ)
Naoto MATSUMOTO
防災を考慮した水中調査の一考察
防災を考慮した水中調査の一考察
Naoto MATSUMOTO
旅するパケットの見える化
旅するパケットの見える化
Naoto MATSUMOTO
LTE-M/NB IoTを試してみる nRF9160/Thingy:91
LTE-M/NB IoTを試してみる nRF9160/Thingy:91
Naoto MATSUMOTO
災害時における無線モニタリングによる社会インフラの見える化
災害時における無線モニタリングによる社会インフラの見える化
Naoto MATSUMOTO
BeautifulSoup / selenium Deep dive
BeautifulSoup / selenium Deep dive
Naoto MATSUMOTO
AMDGPU ROCm Deep dive
AMDGPU ROCm Deep dive
Naoto MATSUMOTO
Network Adapter Deep dive
Network Adapter Deep dive
Naoto MATSUMOTO
RTL2838 DVB-T Deep dive
RTL2838 DVB-T Deep dive
Naoto MATSUMOTO
x86_64 Hardware Deep dive
x86_64 Hardware Deep dive
Naoto MATSUMOTO
ADS-B, AIS, APRS cheatsheet
ADS-B, AIS, APRS cheatsheet
Naoto MATSUMOTO
curl --http3 cheatsheet
curl --http3 cheatsheet
Naoto MATSUMOTO
3/4G USB modem Cheat Sheet
3/4G USB modem Cheat Sheet
Naoto MATSUMOTO
How To Train Your ARM(SBC)
How To Train Your ARM(SBC)
Naoto MATSUMOTO
全国におけるCOVID-19対策の見える化 ~宿泊業の場合~
全国におけるCOVID-19対策の見える化 ~宿泊業の場合~
Naoto MATSUMOTO
我が国の電波の使用状況/携帯電話向け割当 (2019年3月1日現在)
我が国の電波の使用状況/携帯電話向け割当 (2019年3月1日現在)
Naoto MATSUMOTO
私たちに訪れる(かもしれない)未来と計算機によるモノコトの見える化
私たちに訪れる(かもしれない)未来と計算機によるモノコトの見える化
Naoto MATSUMOTO
More from Naoto MATSUMOTO
(20)
Alder Lake-S CPU Temperature Monitoring
Alder Lake-S CPU Temperature Monitoring
CPU製品出荷状況と消費電力の見える化
CPU製品出荷状況と消費電力の見える化
5Gの見える化
5Gの見える化
2023年以降のサーバークラスタリング設計(メモ)
2023年以降のサーバークラスタリング設計(メモ)
防災を考慮した水中調査の一考察
防災を考慮した水中調査の一考察
旅するパケットの見える化
旅するパケットの見える化
LTE-M/NB IoTを試してみる nRF9160/Thingy:91
LTE-M/NB IoTを試してみる nRF9160/Thingy:91
災害時における無線モニタリングによる社会インフラの見える化
災害時における無線モニタリングによる社会インフラの見える化
BeautifulSoup / selenium Deep dive
BeautifulSoup / selenium Deep dive
AMDGPU ROCm Deep dive
AMDGPU ROCm Deep dive
Network Adapter Deep dive
Network Adapter Deep dive
RTL2838 DVB-T Deep dive
RTL2838 DVB-T Deep dive
x86_64 Hardware Deep dive
x86_64 Hardware Deep dive
ADS-B, AIS, APRS cheatsheet
ADS-B, AIS, APRS cheatsheet
curl --http3 cheatsheet
curl --http3 cheatsheet
3/4G USB modem Cheat Sheet
3/4G USB modem Cheat Sheet
How To Train Your ARM(SBC)
How To Train Your ARM(SBC)
全国におけるCOVID-19対策の見える化 ~宿泊業の場合~
全国におけるCOVID-19対策の見える化 ~宿泊業の場合~
我が国の電波の使用状況/携帯電話向け割当 (2019年3月1日現在)
我が国の電波の使用状況/携帯電話向け割当 (2019年3月1日現在)
私たちに訪れる(かもしれない)未来と計算機によるモノコトの見える化
私たちに訪れる(かもしれない)未来と計算機によるモノコトの見える化
Recently uploaded
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Recently uploaded
(8)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
高速ネットワーク最新動向と具体例 (ENOG58 Meeting)
1.
高速ネットワーク最新動向と具体例 (ENOG58 Meeting) Naoto MATSUMOTO
/ 流しの研究者 2019年08月30日
2.
高速ネットワーク最新動向 (CPU 12コアを使えば100GbE
Line Rate)。 SOURCE: https://fast.dpdk.org/doc/perf/DPDK_19_05_Mellanox_NIC_performance_report.pdf
3.
でも、あまりパケット処理をCPUに頼りたくないなという方へは。 # mst start #
mlxconfig -d /dev/mst/mt4121_pciconf0 set SRIOV_EN=1 # mlxconfig -d /dev/mst/mt4121_pciconf0 set NUM_OF_VFS=32 # sync; sync; sync; reboot # echo 1 > /sys/class/net/enp1s0f0/device/sriov_numvfs # echo 0000:01:00.1 > /sys/bus/pci/drivers/mlx5_core/unbind # devlink dev eswitch set pci/0000:01:00.0 mode switchdev # echo 0000:01:00.1 > /sys/bus/pci/drivers/mlx5_core/bind # apt install openvswitch-switch -y # /etc/init.d/openvswitch-switch start # ovs-vsctl set Open_vSwitch . other_config:hw-offload=true # /etc/init.d/openvswitch-switch restart # ovs-vsctl add-br ovs-sriov # ovs-vsctl add-port ovs-sriov enp1s0f0 # ovs-vsctl add-port ovs-sriov enp1s0f0_0 # ifconfig enp1s0f0 up up (*PF) # ifconfig enp1s0f0_0 up up (*VF representor) # ip netns add TEST (*namespace TEST) # ip link set enp1s0f1 netns TEST # ip netns exec TEST ifconfig enp1s0f1 up up (*VF) # ip netns exec TEST dhcient enp1s0f1 (*VF assigned ip address 1.2.3.4) # ip netns exec TEST ping 8.8.8.8 Mellanox ASAP2 Direct / Full OVS Offload CPU使いません
4.
サーバー接続は100GbEですが、そもそも日本インターネットって… Copyright © 2017
Japan Internet Exchange. All Rights Reserved. https://www.jpix.ad.jp/jp/technical_traffic.php Incoming Traffic to IX
5.
とはいえ、今はこんな簡単にH/W Offload NICでL4LBが触れる時代。 #
dpkg -i linux-headers-4.19.0-041900rc3_4.19.0-041900rc3.201809120832_all.deb # dpkg -i linux-headers-4.19.0-041900rc3-generic_4.19.0-041900rc3.201809120832_amd64.deb # dpkg -i linux-modules-4.19.0-041900rc3-generic_4.19.0-041900rc3.201809120832_amd64.deb # dpkg -i linux-image-unsigned-4.19.0-041900rc3-generic_4.19.0-041900rc3.201809120832_amd64.deb # sync; sync; sync; reboot # dpkg -i agilio-bpf-firmware-2.0.6.121-1.deb # dpkg -i bpftool-4.18_amd64.deb # modprobe -r nfp; modprobe nfp # cd /opt # apt install elfutils libelf-dev libmnl-dev bison flex pkg-config # git clone https://git.kernel.org/pub/scm/network/iproute2/iproute2-next.git # cd iproute2-next; ./configure; make; make install # ip link set dev enp101s0np0 xdpoffload obj l4lb_xdp.o sec xdp # ./l4lb_map.py -i enp101s0np0 -f ./destination_samples/32_destinations.csv # ./l4lb_stats.py -i enp101s0np0 == Load balancer outbound statistics [Offload] == 1 10.0.0.57 0 pkts/s 0 bits/s 2 10.0.125.19 0 pkts/s 0 bits/s 3 10.0.129.60 0 pkts/s 0 bits/s :
6.
ここ25年以上、オンライン・データ処理って、あまり変化ないけどね。 キャッシュ/サービス (API) リクエスト振分処理 不特定多数の参照ユーザー(80%) 不特定少数の投稿ユーザー(20%) データベース/ストレージ 恒久的なデータ保存 整合性チェックアーカイブ処理 力技と物量による問題解決(現在)
7.
よくこの手の話で昔から「GPUを使えば!」が出ますが、こういう実態。 a = cp.array(R,
dtype=np.uint8) 2.27 sec a = np.array(R, dtype=np.uint8) 0.46 sec cp.sort(a) 0.54 sec np.sort(a) 15.1sec # apt install python-pip # pip install --upgrade pip # pip install --upgrade setuptools # pip install numpy cupy time # python import time import cupy as cp import numpy as np from numpy.random import * R = randint(0,100,600000000) a = cp.array(R, dtype=cp.uint8) cp.sort(a) numpy (CPU) cupy (GPU) 15.56秒 (処理時間) 2.81秒 (処理時間) ↑ GPUメモリ空間への配列データ転送
8.
それでも「GPUで何か高速化したい!」方へは、こういうモノもある。 # apt install
-y curl apt-transport-https # useradd -U mapd; ufw disable; ufw enable; ufw allow 9092/tcp; ufw allow 22/tcp # curl https://releases.mapd.com/ce/mapd-ce-cuda.list | sudo tee /etc/apt/sources.list.d/mapd.list # curl https://releases.mapd.com/GPG-KEY-mapd | sudo apt-key add - # apt update # apt install -y mapd # vi ~/.bashrc export MAPD_USER=mapd export MAPD_GROUP=mapd export MAPD_STORAGE=/var/lib/mapd export MAPD_PATH=/opt/mapd # source ~/.bashrc # mkdir -p $MAPD_STORAGE; chown -R $MAPD_USER $MAPD_STORAGE # cd $MAPD_PATH/system; ./install_mapd_systemd.sh; cd $MAPD_PATH # systemctl start mapd_server; systemctl enable mapd_server # systemctl start mapd_web_server; systemctl enable mapd_web_server # $MAPD_PATH/insert_sample_data # $MAPD_PATH/bin/mapdql -t Password: HyperInteractive mapdql> SELECT origin_city AS "Origin", dest_city AS "Destination", AVG(airtime) AS "Average Airtime" FROM flights_2008_10k WHERE distance <= 33 GROUP BY origin_city, dest_city; Execution time: 1268 ms, Total time: 1269 ms CUDA9.1 (MapD Community Edition 3.4.0)
9.
でも、クロックの高いCPUを使おうともデータサイズが大きければ… # mkdir /ramdisk #
mount -t tmpfs tmpfs /ramdisk # fio -directory=/ramdisk -rw=read -bs=* -size=1G -numjobs=16 -runtime=10 -group_reporting -name=data 無駄に大きなデータを 扱っていないか?
10.
最近PCI Express 4.0でバス速度も速くなりましたし、楽しい限りです。 #
lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 12 Vendor ID: AuthenticAMD # lspci -vv 01:00.0 Non-Volatile memory controller: Phison Electronics Corporation Device 5016 ... Capabilities: [80] Express (v2) Endpoint, MSI 00 LnkCap: Port #1, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L0s unlimited, LnkSta: Speed 16GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt- LnkCtl2: Target Link Speed: 16GT/s, EnterCompliance- SpeedDis- # lspci -vv (PCIe 2.0 to 4.0 on BIOS Config) PCIe2.0: LnkSta: Speed 5GT/s, Width x4, TrErr- Train- SlotClk+ PCIe3.0: LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ PCIe4.0: LnkSta: Speed 16GT/s, Width x4, TrErr- Train- SlotClk+ # fio --directory=/root/ --rw=read --bs=4k --size=10G --numjobs=16 ... PCIe2.0: read: IOPS=443k, BW=1732MiB/s (1816MB/s)(160GiB/94590msec) PCIe3.0: read: IOPS=876k, BW=3421MiB/s (3587MB/s)(160GiB/47889msec) PCIe4.0: read: IOPS=1209k, BW=4724MiB/s (4954MB/s)(160GiB/34681msec)
11.
まとめ とくにまとめません。 いつの世でも「楽しい」をまずやってみてくださいませ。 そうすれば、きっと結果も未来もおのずと現れてきます。 小さくとも何かの知識欲のきっかけになりましたら幸いです。