百度AIP开放平台使用OAuth2.0授权调用开放API，调用API时必须在URL中带上access_token参数，获取Access Token的流程如下：# encoding:utf-8 import requests '''百度AI鉴权认证机制https://ai.baidu.com/ai-doc/REFERENCE/Ck3d……继续阅读 » 九万里大数据 2年前 (2021-05-27) 897浏览 0评论0个赞
百度AI开发平台AI接入指南https://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjgn3https://console.bce.baidu.com欢迎关注我的微信公众号“九万里大数据”，原创技术文章第一时间推送。欢迎访问原创技术博客网站 jwldata.com，排版更清晰，阅读更爽快。&nb……继续阅读 » 九万里大数据 2年前 (2021-05-26) 1096浏览 0评论0个赞
假设CDH上已经安装了Spark1.6.0和Spark2.4.0，用spark-shell和spark2-shell可以分别调用两个版本的Spark。现在需要安装第三个版本的Spark客户端，这里讲述这种场景下再安装一个1.6.3版本的Spark客户端。普通的Spark客户端安装可以参考往期文章：https://www.jwldata.com/archi……继续阅读 » 九万里大数据 2年前 (2021-05-26) 866浏览 0评论0个赞
NameNode与fsimage、edits文件NameNode（简称NN）负责管理和保存HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。当NameNode在运行时，元数据都是保存在内存中，以保证响应时间。元数据同时也会持久化到磁盘，dfs.namenode.name.dir参数指定了元数据的磁盘保存路径。N……继续阅读 » 九万里大数据 2年前 (2021-05-21) 1574浏览 0评论5个赞
安装virtualenvsudo pip3 install virtualenv virtualenvwrapper在当前用户的.bashrc中加入以下这一段vi ~/.bashrc 追加以下环境变量配置 # virtualenv for python3if [ -f /usr/local/Python-3.9.5/bin/vi……继续阅读 » 九万里大数据 2年前 (2021-05-18) 1694浏览 0评论1个赞
用pip官方源，下载速度很慢，可以替换成国内源，会快很多。更换阿里pip源mkdir ~/.piptouch ~/.pip/pip.confvi ~/.pip/pip.conf 修改文件内容为 [global]index-url=https://mirrors.aliyun.com/pypi/simple[install]……继续阅读 » 九万里大数据 2年前 (2021-05-18) 989浏览 0评论2个赞
安装依赖包一次性解决python3版本中的依赖(No module)问题yum install bzip2-devel db4-devel gdbm-devel libpcap-devel ncurses-devel openssl-devel readline-devel sqlite-devel tk-devel xz-devel zlib-deve……继续阅读 » 九万里大数据 2年前 (2021-05-18) 781浏览 0评论0个赞
Hadoop Distributed File System (HDFS)是一种分布式文件系统，具有高容错性，可运行在廉价的硬件上，具有高吞吐量，特别适合存放大规模数据集。HDFS实际架构非常复杂，今天通过一篇文章来浓缩最关键的几个点，结合图和源码等理解HDFS体系架构。系统设计目标硬件故障具有硬件故障检测能力，可自动快速恢复。流式数据访问高数据……继续阅读 » 九万里大数据 2年前 (2021-05-10) 1233浏览 0评论0个赞
管理openldap的Web端管理工具phpldapadmin，需要依赖于php，这里介绍php基础环境的安装。PHP官网https://www.php.net/manual/en/install.unix.apache2.php下载PHP7https://www.php.net/distributions/php-7.4.14.tar.bz2依赖……继续阅读 » 九万里大数据 2年前 (2021-05-07) 640浏览 0评论0个赞
Apache HTTP Server（简称httpd）是互联网使用最广泛的开源web服务中间件，诞生于1995年。通常与Linux, MySQL, PHP搭配使用，组合成LAMP，用于部署网站。httpd官网截至目前，httpd的最新版本是2.4.46https://httpd.apache.org/docs/2.4/install.html下载……继续阅读 » 九万里大数据 2年前 (2021-05-06) 527浏览 0评论1个赞
