ITeye博客

智能时代

静妙仙人 · 共 35 篇文章

一篇非常经典的文章(面向接口编程)

首先要清楚什么是接口。接口就是标准。生活中有很多接口。如水龙头水管接口、电源接口等。现在有很多的水龙头生产商,在采用接口之前,厂商要同时提供水龙头和下水管,它们是一体的,不能变更。同时也只适用于他的这一种产品。而有了接口之后,厂商就就不用去管它的下水管如何设计了,只用安装接口标准来生产水龙头,完成后直接接到下水管上就可以了。这就是面向接口。这样的话你的下水管就可以使用所有的符合下水管标准的水龙头,而不是之前的一种水龙头。而且更换水龙头更加的方便。 放在程序中说就是。如果一个类不能确定它最后的类型,就是说不知道它以后要被实现成什么样,就可以采用面向接口的编程。所有需要这个类的地方都设成一个接口…

2016-11-16 17:00 · 学习笔记 · IT生活 · 评论(0)

使用MySQL处理百万级以上数据时,不得不知道的几个常识

最近一段时间参与的项目要操作百万级数据量的数据,普通SQL查询效率呈直线下降,而且如果where中的查询条件较多时,其查询速度简直无法容忍。之前数据量小的时候,查询语句的好坏不会对执行时间有什么明显的影响,所以忽略了许多细节性的问题。 经测试对一个包含400多万条记录的表执行一条件查询,其查询时间竟然高达40几秒,相信这么高的查询延时,任何用户都会抓狂。因此如何提高sql语句查询效率,显得十分重要。以下是结合网上流传比较广泛的几个查询语句优化方法: 首先,数据量大的时候,应尽量避免全表扫描,应考虑在 where 及 order by 涉及的列上建立索引,建索引可以大大加快数据的检索速度。但是…

2013-06-25 21:51 · 学习笔记 · 数据库 · 评论(2)

(数据分析工具)R学习笔记一:向量运算

向量和赋值 R 在已经命名的数据结构上起作用。其中,最简单的结构就是由一串有序数值构成的数值向量。 x <- c(1,2,3,4,5,6) 这是一个用函数c()完成的赋值语句。(<-是赋值符号) 注:等同于assign(“x”,c(1,2,3,4,5,6)) 向量运算 基本的算术运算符就是常用的+,-,*,/和做幂运算的^。另外还包括常用的数学函数,如log,exp,sin,cos,tan,sqrt等等。 **Min(x)和max(x):**分别给出向量x最小值和最大值的函数; **Range(x)****函数:**是一个得到长度为2的向量,即c(min(x),max(x)); **Leng…

2013-01-28 19:55 · R/R语言 · 评论(0)

暗时间——用计算机知识解释时间与效率【转】

这是一篇通过计算机知识解释时间与效率的文章,形象、易懂,受益匪浅! 如果你有一台计算机,你装了一个系统之后就整天把它搁置在那里,你觉得这台计算机被实际使用了吗?没有。因为CPU整天运行的就是空闲进程。运行空闲进程也是一天,运行大数据量计算的程序也是一天,对于CPU来说同样的一天,价值却是完全不一样的。 大脑也是如此。 善于利用思维时间的人,可以无形中比别人多出很多时间,从而实际意义上能比别人多活很多年。我们经常听说“心理年龄”这个词,思考得多的人,往往心理年龄更大。有人用10年才能领悟一个道理,因为他们是被动领悟——只有在现实撞到他脸上的时候才感到疼,疼完了之后还是不记得时时提醒自己,结果很…

2012-12-06 23:05 · 网摘文章 · 评论(0)

关系型数据库设计——范式的应用

E-R模型 实体-联系数据模型的提出旨在方便数据库的设计。E-R数据模型采用了三个基本概念:实体集、联系集和属性,可以很好的描述现实世界的概念模型。 在用E-R模型设计数据库时,可以避免两个缺陷:数据冗余和不完整。但是,为了更加合理、科学的设计数据库,又出现了规范化。 好的关系数据库设计的特点: 关系数据库设计的目标是生成一组关系模式,使我们存储信息时避免不必要的冗余,并且让我们可以方便的获取信息。 生成的模式集的好坏首先决定于E-R模型设计的质量。什么是好的关系数据库,好的关系数据库应该具有如下的特点:尽量减小数据冗余,消除异常,如更新异常、删除异常等。 为了建立冗余较小、结构合理的数据库…

2012-11-10 19:24 · 数据库 · 评论(2)

Python easy_install安装及使用

easy_install简介: easy_install是由PEAK(Python Enterprise Application Kit)开发的setuptools包里带的一个命令, 所以使用****easy_install实际上是在调用setuptools来完成安装模块的工作。 Perl 用户比较熟悉 CPAN,而 Ruby 用户则比较熟悉 Gems;引导 setuptools 的ez_setup工具和随之而生的扩展后的easy_install 与 “Cheeseshop”(Python Package Index,也称为 “PyPI”)一起工作来实现相同的功能。它可以很方便的让您自动下载…

2012-11-08 17:33 · python · 评论(0)

大数据,个人数据集成

“数据优化生活”。 对于个人来说,其实我们每天都被数据包围着,无形中产生了许多个人数据。WEB2.0革命的自然深化和扩展,终极目的就是创造真正的“数据人”,也就是以个人为中心,将其在互联网上的言行举止和世上一切有关此人的所产生的数据汇集起来精准描述,在保护隐私的前提下进行智能化和个性化的服务匹配。在这方面,FACEBOOK和苹果的基础最好,走的最远。“我的数据”(My Data),“自我量化”(Quantified Self),“纳米定位”(Nanotargeting)等一系列新概念正在业内出现,一批围绕个人完整动态数据获取的服务和机制正在尝试之中。 今天看到了一段视频,感觉很不错。主要介绍…

2012-10-31 00:30 · 大数据与数据挖掘 · 评论(0)

创建索引的原则

索引可以提高数据的访问速度,但同时也增加了插入、更新和删除操作的处理时间。所以是否要为表增加索引、索引建立在那些字段上,是创建索引前必须要考虑的问题。解决此问题就是分析应用程序的业务处理、数据使用,为经常被用作查询条件、或者被要求排序的字段建立索引。 索引是建立在数据库表中的某些列的上面。因此,在创建索引的时候,应该仔细考虑在哪些列上可以创建索引,在哪些列上不能创建索引。 一般选择在这样的列上创建索引: 1. 在经常需要搜索查询的列上创建索引,可以加快搜索的速度; 2. 在作为主键的列上创建索引,强制该列的唯一性和组织表中数据的排列结构; 3. 在经常用在连接的列上创建索引,这些列主要是一些…

2012-10-25 11:10 · 数据库 · 评论(0)

数据即服务(DaaS)

1为什么出现DaaS 1.1大数据时代来临 未来的十年将是一个“大数据”引领的智慧科技的时代。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富。更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度将比历史上的任何时期都要多,都要快。“大数据”时代的脚步悄然而至。 现在,数据来源多种多样,无论何时,无论任何地方都在产生新的数据。据统计,全世界可用的数据量已经由2005年的150EB增长到2010年的1200EB。预计未来几年,数据总量每年将增加40%,这意味着从2007年到2020年,数据的存储量要增长44倍。[1] 对于大数据,IBM总结了它的四个特性:大量化(V…

2012-10-22 21:01 · 大数据与数据挖掘 · 评论(3)

动态规划(dynamic programming)

方法概述: 发展及研究内容 动态规划(dynamic programming)是运筹学的一个分支,20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时,提出了著名的最优化原理(principle of optimality),把多阶段过程转化为一系列单阶段问题,逐个求解,创立了解决这类过程优化问题的新方法——动态规划。 动态规划问世以来,在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、资源分配、设备更新等问题,用动态规划比用其它方法求解更为方便。 方法概述: 基本思想 A.…

2012-10-10 12:57 · 数据结构与算法 · 评论(0)

大数据时代——美国中情局浅谈数据分析

两年前,CIA需要大约63天来分析收集的数据,现在,只需要27分钟就可以了。 “CIA利用大数据,极大地提高了它的数据分析和反应能力。”CIA的CTOIra“Gus”Hunt在最近华盛顿举行的AFCEA新技术研讨会上如是说。 CIA认为,近年来,社会化媒体,移动技术和云计算应用给社会带来了深刻的变化。Hunt提到,一个例子就是前一段的“阿拉伯之春”,如果没有这些技术的话,就不可能成功。此外,廉价的,随时可接入网络的设备也很大程度地改变了人们的商业行为。 “现在的情况是,要么你采用这些技术,迅速成功,要么你就很快失败”。随着越来越多的设备接入互联网,这种物联网化的趋势使得从智能手机到电冰箱在内…

2012-10-08 10:47 · 大数据与数据挖掘 · 评论(0)

信息熵

信息是个很抽象的概念。人们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年,香农提出了“信息熵”的概念,才解决了对信息的量化度量问题。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。 一条信息的信息量大小和它的不确定性有直接的关系。比如说,我们要搞清楚一件非常非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为,信息量的度量就等于不确定性的多少。 实例 那么我们如何来量化度量信息…

2012-10-07 23:55 · 大数据与数据挖掘 · 评论(0)

大数据时代,“危”“机”并存

随着社交网络、移动互联网、云计算、物联网等新兴产业的快速发展,各种各样的数据呈现出爆炸式的增长。根据IDC报告,2011年全球手机用户数已经达到50亿、Facebook每月共享出来的信息条数达到惊人的300亿、2011年全球数据量已经达到1.2 ZB、而目前全球每年的数据还在以40%的速度在增长着。IDC助理副总裁、行业研究与咨询服务部武连峰先生介绍说,大数据有着四个特点:“包含结构化和非结构化数据、数据量通常大于100TB、数据采集通常是高速数据流、数据量通常年增长率大于60%。” 分析师们认为,企业可以从这些海量的数据中挖掘出有用的信息,从而帮助企业用于商业的决策并获得更有前瞻性的洞察,…

2012-10-06 12:24 · 大数据与数据挖掘 · 评论(0)

“大数据”时代的来临与数据挖掘

未来的十年将是一个“大数据”引领的智慧科技的时代。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富。更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度将比历史上的任何时期都要多,都要快。“大数据”时代的脚步悄然而至。 请试想一下:当40亿部手机、10亿部电脑,随时随地都在向分布在全球各地的服务器发送数据;当你开着车对着“语音助手”说:“我要在附近找一家最罗曼蒂克的餐厅。”之后,短短一两秒就能得到您满意的答案时。其背后向您提供服务所涉及到的定位、资料检索、存取、数据交换等一系列动作是何等的复杂。而这一系列动作正是由“大数据”所支撑,正如 IBM 总结的那样:“大量…

2012-10-03 14:23 · 大数据与数据挖掘 · 评论(0)

那些年,我在北理工

北理工这个名字第一次进入我的人生还是在十年之前,记得那次在电视上听到一条体育新闻:北理工大学生足球队代表中国参加了国际大学生足球赛。从此,北理工就在我的脑海里烙下了:青春、活力的形象,就如来到北理听到“我们是风,不被左右;我们是风,无法阻挡。 北理梦 高中的时候,我就梦想考进北京理工大学,那个时候“北京理工大学”这个名字对于我来说,还是那样的陌生但又亲切。 2007年的夏天,我参加了人生中的第一次高考,当时我的第一志愿就是:北京理工大学软件学院,但是不理想的成绩将我挡在了北理大门的外面。于是我就复读了一年“高四”,最后填报的志愿依然是“北京理工大学”,因为那里是我的梦想。幸运的是,在2008…

2012-04-18 13:07 · IT生活 · 评论(1)