Archives 2024

词典相似度比较

需求:

有两列A和B,每一列的行都是不重复的一个单词或短语,要求以A为主体,在B找出与A相似度>X%的B短语,并输出到文本进行后续处理。
其中A和B在不同的表里,数据也有重合。需要一定的处理才能得到A和B。
其中A约1600行,B约800行。

用mysql写了个相似度的函数,当然可能是因为原表比较复杂的原因,跑了近1个小时了也没出来。

然后参考网上的代码用python写了个原型,执行起来大概1~2分钟的样子。
A和B分别放进不同的文件,最终生成C。

from difflib import SequenceMatcher

def calculate_similarity(s1, s2):
    return SequenceMatcher(None, s1, s2).ratio()

def main():
    with open('a.txt', 'r',encoding='utf-8') as file_a, open('b.txt', 'r',encoding='utf-8') as file_b, open('c.txt', 'w') as output_file:
        phrases_a = file_a.read().splitlines()
        phrases_b = file_b.read().splitlines()
       
        for phrase_a in phrases_a:
            for phrase_b in phrases_b:
                similarity = calculate_similarity(phrase_a, phrase_b)
                if similarity > 0.7:
                    output_file.write(f"{phrase_a}||{phrase_b}\n")

if __name__ == "__main__":
    main()

将docker迁移到本机其他磁盘

背景:

华为云上用docker部署了oracle,某天oracle突然无法访问了,发现是磁盘满了,导致oracle无法启动。
磁盘情况:vda系统盘40G,vdb数据盘100G。开始安装时使用了默认参数安装在了系统盘,目前是40G的系统盘满了。

方案1:扩充系统盘。
增加了20G,也扩展到了60G,但是系统仍显示vda占用100%。仍然无法启动。所以尝试使用方案2.

方案2:将docker迁移到100G的数据盘上

1.停止所有正在运行的Docker容器

docker stop $(docker ps -aq)

2.停止Docker服务

systemctl stop docker

3.复制Docker目录到新的位置
使用cp或rsync等工具将Docker目录复制到新的位置。我的目标路径是数据盘 /mydata

sudo rsync -aqxP /var/lib/docker/ /mydata/docker

4.更新Docker配置文件/etc/docker/daemon.json
如果文件不存在,需要创建(touch /etc/docker/daemon.json)。
示例配置文件如下所示:(registry-mirrors、dns两个值填你自己的镜像仓库和DNS服务器地址)

{
"registry-mirrors": ["https://xxxxx.mirror.aliyuncs.com"],
"dns": ["IP1", "IP2"],
"data-root": "/mydata/docker"
}

如果不知道前面的怎么填,一般直接最简单的即可

{
"data-root": "/mydata/docker"
}

5.重新装载daemon配置

systemctl daemon-reload

6.启动Docker服务

systemctl start docker

7.查看image

docker ps -a

8.启动容器:运行docker start 命令启动之前停止的所有容器。

docker start <container_id>

9.进入容器进行测试

docker start oracle11g
docker exec -it oracle11g /bin/bash
/home/oracle/app/oracle/product/11.2.0/dbhome_2


export ORACLE_HOME="/home/oracle/app/oracle/product/11.2.0/dbhome_1";
export PATH=$ORACLE_HOME/bin:$PATH;
export ORACLE_SID=orcle;

sqlplus /nolog
conn /as sysdba

补充一个操作上的问题:
在操作玩第6步查看image的时候,发现列表是空的。

用docker info 看了各项参数信息,发现data root仍是之前的。

那就是daemon.json没有生效。原因是我在操作的时候,没有理解这个位置是固定的/etc/docker/daemon.json,而是建在了迁移后的路径里 /mydata/docker/daemon.json
所以没有生效。
新建了/etc/docker/daemon.json后,

后续操作正常。