Как удалить строки из таблицы, которые повторяются в другой таблице?
import pandas as pd

df1 = pd.DataFrame({'col1':['A', 'B', 'C', 'D', 'C'], 'col2': [1,2,3,4,3], 'col3': [5,6,7,8,102]})
df1

df2 = pd.DataFrame({'col1':['C'], 'col2': [3], 'col3': [7]})
df2


df_new = pd.merge(df1, df2, how='outer', indicator=True)
df_new.loc[df_new['_merge'] == 'left_only'].drop('_merge', axis=1)

P.S. 
Учитесь гуглить на английском (в гугле)
Я не супер знаток пандаса, но даже чрезвычайно дурацкий и очевидный вопрос в гугл в виде "how to delete rows from table from other table pandas" выдает в результате на первой строчке ссылку, откуда и взято это решение
https://stackoverflow.com/questions/39880627/in-pa...
преобразовать датафреймы в списки, точнее в формат двухмерного массива, т.е. список списков, и сделать лист компрехеншн с условием, потом преобразовать обратно с теми же названиями столбцов что были.

new_list=[x for x in df1.values.tolist() if x not in df2.values.tolist()]
df3=pandas.Dataframe.from_records(data=new_list, columns=df1.columns.values())
df3
Out[217]: 
  col1  col2  col3
0    A     1     5
1    B     2     6
2    D     4     8
3    C     3   102

Или как выше написали через объединение в самих датафреймах. Смотря что быстрее будет работать