ITeye博客

大道至简

TaoistWar · 共 325 篇文章

[置顶] MyEclipse7.1的插件安装

MyEclipse工具的插件安装从7.1开始变的垃圾了,大概是不想让用户装别的公司的插件吧。 现有如下方法安装其它插件: 一、类似link的安装 1.复制如下代码 import java.io.File; import java.util.ArrayList; import java.util.List; public class Test { private String path; public Test(String path) { this.path = path; } public void print() { List list = getFileList(path); if (…

2009-04-09 13:43 · 开发工具 · 评论(7)

ElasticSearch源码分析——入口类Elasticsearch

Java DNS缓存策略 DNS(Domain Name System,域名系统)服务器管理域名和IP的对应关系。 一次域名查询是非常耗时的操作,可能经过多台DNS服务器才能查找到指定的域名。 Java 内置提供了DNS缓存服务,重用已有的查询结果。默认将永久保留访问过的域名。 通过调用“Security.setProperty”设置缓存策略相关的配置属性。 配置属性 默认值 说明 networkaddress.cache.ttl -1 域名查找成功时,缓存时间。为-1时,缓存永不过期。单位:秒 networkaddress.cache.negative.ttl 10 域名查找失败时,缓存时…

2020-05-21 16:59 · 数据中台 · 评论(0)

IDEA 使用技巧集成

版本 社区版(无后顾之忧) 插件(免费) Alibaba Java Coding Guidelines 阿里巴巴Java开发规约 Key promoter X Maven Helper IDEA Mind Map CamelCase Shift + Alt +U Git Commit Template Extra Icons

2020-05-21 16:07 · 开发工具 · 评论(0)

ElasticSearch Alert 配置邮件服务器

ES中配置邮件服务器信息,使用POST API进行: PUT _cluster/settings { "persistent" : { "cluster" : { "routing" : { "rebalance" : { "enable" : "all" }, "allocation" : { "awareness" : { "attributes" : "rack" }, "enable" : "all" } } }, "xpack" : { "monitoring" : { "collection" : { "enabled" : "true" }, "exporters" : { "…

2020-05-20 14:42 · 数据中台 · 评论(0)

Kibana 7中使用Watcher产生告警,并发送到钉钉

由于“create threshold alert”不支持HTTPS,因此创建“create advanced watch” 内容如下: { "trigger": { "schedule": { "interval": "1m" } }, "input": { "search": { "request": { "search_type": "query_then_fetch", "indices": [ "*" ], "rest_total_hits_as_int": true, "body": { "size": 0, "query": { "match_all": {} } } } } …

2020-05-20 10:16 · 数据中台 · 评论(0)

海马云游戏事件分析

缩写 本来 cid cloud_id bid access_key_id 事件ID 事件描述 字段说明 100122 申请云玩成功 10062 发送流地址 12044 流地址获取成功 12045 获取到第一帧 saas_client 事件ID 事件描述 字段说明 16001 基于时钟校准的延迟检测

2020-05-09 11:42 · 云游戏 · 评论(0)

LaTex排版入门

基本使用 使用TeXstudio作为编辑器,新建文档并输入内容: \documentclass{article} %百分号表示注释 \usepackage[UTF8]{ctex} %用于支持中文 \begin{document} 一些文字 \LaTeX! \end{document} 编译和查看,快捷键F5。 数学公式 我学习LaTex的主要目的。 两个$...$之间的是数学公式。 矩阵 引用环境库amsmath 用 & 分隔列,用 \\ 分隔行 \documentclass{article} \usepackage[UTF8]{ctex} %用于支持中文 \usepackage{amsma…

2020-03-02 16:19 · 评论(0)

TexLive安装

下载 TexLive主要有两种安装方式:网络版、DVD版。 网络版需要下载客户端,使用客户端安装,在安装过程中需要的文件,从Internet上下载。中国嘛,不考虑。 DVD版,包含完成客户端和所有依赖的资源,因此推荐此种方式。 官方网站:http://tug.org/texlive/acquire-iso.html 镜像列表:https://ctan.org/mirrors 清华大学镜像:https://mirrors.tuna.tsinghua.edu.cn/CTAN/ 目录: systems/texlive/Images/ 安装 重置环境变量,过多的环境变量将导致安装失败。 set pa…

2020-03-02 15:53 · Tex · 评论(0)

05、Spark on Yarn

Spark 0.6.0开始支持此功能 准备: 运行Spark-on-YARN需要Spark的二进制发布包。参考编译 配置: 环境变量: SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量,可以省略。 例如:SPARK_YARN_USER_ENV="JAVA_HOME=/jdk64,FOO=bar"。 // TODO 具体可配置项 SPARK_JAR 设置Spark jar在HDFS的位置。 例如:export SPARK_JAR=hdfs:///some/path. 在每台Hadoop NodeManager节点上设置变量 启动: 确保HAD…

2014-09-12 10:08 · 数据中台 · 评论(0)

04、Spark Standalone运行

安装配置 hosts配置: 用户: useradd spark 1、SSH无密码登录 2、JDK 3、安装Scala 2.10.4 4、安装配置Spark 4.1、解压与权限 chown -R spark:spark /opt/spark 4.2、配置worker vi conf/slaves ES122 ES123 ES124 4.3、配置spark-env.sh cp conf/spark-env.sh.template conf/spark-env.sh vi conf/spark-env.sh export SPARK_MASTER_IP=ES122 export SPARK_MAS…

2014-09-11 23:03 · 数据中台 · 评论(0)

03、Spark 单机版

直接解压,无需配置 运行样例: bin/run-example org.apache.spark.examples.GroupByTest 1

2014-09-11 23:00 · 数据中台 · 评论(0)

02、Spark的部署方式

单机运行 Standalone 使用Spark本身提供的资源管理器,可以直接运行 Yarn 提供运行spark应用的jar包 Mesos Amazon EC2 / ElasticMapReduce 安装工具: Chef

2014-09-11 22:59 · 数据中台 · 评论(0)

01、Spark编译与打包

1、SBT编译 vi project/SparkBuild.scala 修改仓库: "Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/" SPARK_HADOOP_VERSION=2.4.0.2.1.2.0-402 SPARK_YARN=true sbt/sbt clean assembly 2、MAVEN编译 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" mvn -Pyarn…

2014-09-11 22:57 · 数据中台 · 评论(0)

Spark1.x 生态圈一览

Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通过Spark生态圈,AMPLab运用大数据、云计算、通信等各种资源,以及各种灵活的技术方案,对海量不透明的数据进行甄别并转化为有用的信息,以供人们更好的理解世界。Spark生态圈已经涉及到机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。 随着spark的日趋完善,Spark以其优异…

2014-09-11 21:57 · 数据中台 · 评论(0)

Logstash + kibana + ElasticSearch

一、Ruby环境 yum -y install ruby rubygems /usr/bin/gem install bundler 二、Logstash 下载 解压 运行 bin/logstash -e 'input { stdin { } } output { elasticsearch { cluster => mylab } stdout{}}'

2014-07-21 15:57 · 数据中台 · 评论(0)